En fait, le cas de « fait faire »  est un cas particulier du participe passé suivi d’un infinitif.
En effet, de manière générale, le participe passé est accordé avec le sujet lorsque ce sujet fait aussi l’action de l’infinitif qui suit.

En revanche lorsque le sujet fait l’action du participe mais pas de l’infinitif, le participe ne sera pas accordé. C’est le cas dans les phrases telles que :

« Elles se sont vu refuser l’accès au club ».

Pour revenir sur la question du départ, lorsque qu’on se « fait faire/avoir/prendre etc. »,  on ne peut évidemment pas être la personne qui effectue l’action puisqu’on en est soi-même la victime. Il n’y a donc pas d’accord.