Pour simplifier.
Les pronoms remplacent généralement des noms  : ce film,  le critique le descend en flèche. « Le » remplace « film ».
« En » et « Y » également parfois : je t’en ai parlé l’autre jour (en = « de cette personne » ou « de ce film »)
J’y pense souvent (y = à ce moment agréable)
Mais ils peuvent aussi remplacer un adverbe (ou tenir le rôle d’un adverbe lorsqu’ils remplacent un complément circonstanciel).
Je viens de là-bas > j’en viens  — je viens de Paris > j’en viens
Je vais là-bas > j‘y vais — je vais en Italie > j’y vais

Voici pourquoi on peut les appeler « pronoms adverbiaux ».
Et ce n’est pas parce qu’ils ne varient ni en genre ni en nombre parce que bien d’autres mots que des adverbes sont dans ce cas : les prépositions, les conjonctions.