Si le complément est la cause de l’agacement, c’est équivalent à une forme passive « Je m’agace de faire cela. = Faire cela m’agace. » et la construction se fait alors nécessairement avec la préposition « de » : « On s’agace de quelque chose » et ce quelque chose peut prendre la forme d’une proposition infinitive.

Si le complément est une circonstance de l’agacement alors la préposition « à » est aussi correcte : « Je m’agace à attendre. » (l’attente me donne l’occasion de m’agacer de toutes sortes de choses) tandis que « Je m’agace d’attendre. » (l’attente est la cause de mon agacement).

La phrase « Elle ne parvient pas à cacher son agacement de sentir X faire cela » me semble donc la formulation correcte, car la proposition infinitive est un complément du nom agacement et la cause de cet agacement.