Comme ‘je me suis permis » signifie « j’ai permis à moi-même »  (permettre à quelqu’un et non permettre quelqu’un), faute de COD, on ne fait aucun accord.

Je me suis permis cette familiarité >> cette familiarité que je me suis permise
L’accord se fait avec le COD : familiarité.

D’ailleurs on peut lui substituer « oser » : je me suis permis > j’ai osé.

Remarque ; on ne peut pas dire que le verbe « permettre » est invariable. Ce qui est invariable, par définition, ne varie pas. Or, le verbe permettre varie énormément comme tout verbe qui se conjugue : « permets – permettait – permettront – permîmes  – permette …. « 
Il  s’agit ici que de son participe passé et il s’accorde parfois comme cela se voit dans l’exemple ci-dessus.