Le PP employé avec l’auxiliaire « avoir » s’accorde en genre et en nombre avec le COD, s’il est placé avant l’auxiliaire.
Ils ont inspiré qui ? Moi, qui est placé avant, donc on accorde en genre et en nombre :
S’il s’agit d’une femme « inspirée« 
S’il s’agit d’un homme « inspiré« .
Dans la deuxième partie de la phrase, « moi » n’est pas COD de « servir », qui n’a pas de COD. Donc pas d’accord :
(à noter qu’il est indispensable d’accentuer une majuscule !)
À ceux qui m’ont inspirée / inspiré et servi de référence.