Comme ‘je me suis permis » signifie « j’ai permis à moi-même »  (permettre à quelqu’un et non permettre quelqu’un), faute de COD, on ne fait aucun accord.

Je me suis permis cette familiarité >> cette familiarité que je me suis permise
L’accord se fait avec le COD : familiarité.

D’ailleurs on peut lui substituer « oser » : je me suis permis > j’ai osé.

Remarque ; on ne peut pas dire que le verbe « permettre » est invariable. Ce qui est invariable, par définition, ne varie pas. Or, le verbe permettre varie énormément comme tout verbe qui se conjugue : « permets – permettait – permettront – permîmes  – permette …. « 
Il  s’agit ici que de son participe passé et il s’accorde parfois comme cela se voit dans l’exemple ci-dessus.

Oui, je confirme, on permet à quelqu’un de faire quelque chose.

Dans cette phrase, le verbe se permettre est accidentellement pronominal, on analyse donc la place du COD s’il y en a un et on applique la règle de l’accord du participe passé. Si absence de COD, le participe passé reste en effet invariable.

J’ai permis à moi-même de donner des bonbons ! Pas de COD donc Je me suis permis de donner des bonbons, si c’est une fille qui parle.