Le nom agacement admet parfaitement des compléments de nom, ne serait-ce que dans le domaine médical où l’on peut parler de  « l’agacement  des membres inférieurs« . Mais en dehors de cet usage très spécifique, qu’est-ce qui interdirait d’ajouter un complément de nom ?
Le verbe pronominal s’agacer se construit avec la préposition  de :  « s’agacer de quelque chose ». On peut bien sûr s’amuser à agacer sa propre personne mais en général il s’agit d’un emploi de sens passif :  « Elle s’agace du comportement de Machin.  » est tout à fait équivalent à « Elle est agacée par le comportement de Machin. « La construction est comparable à celle de s’effrayer.
Quand agacement est suivi d’un substantif complément, il est vrai que celui-ci désigne le plus souvent les personnes agacées : « Il a suscité l’agacement de ses collègues.  » et non la cause de l’agacement. Mais une proposition infinitive ne comporte aucune ambiguïté   et il est fréquent de lire : « Ils ne cachent pas leur agacement de voir…  »  sans que ce type de formulation soit attaqué comme impropre, alors pourquoi pas « Elle ne parvient pas à masquer son agacement de voir X agir ainsi » ?