Salutation !

La phrase est formulée étrangement au point que je ne suis pas certain de la saisir, en tout cas c’est dégueulasse à lire de mon point de vue. (J’ai rien de légitime en français donc autant elle est totalement correcte, juste mon avis)

En tout cas « adressé » car il n’y a pas de C.O.D et « m' » joue le rôle de COI.
« Vu » si c’est un homme et « vue » si c’est une femme. J’ai vu qui à ma consultation ? Monsieur X ou Madame Y, COD avant l’auxiliaire avoir donc accord avec ce dernier.

Vartol a bien accordé. La phrase est une formule  correcte.

Le médecin est un homme : m’ = COI  (donc il n’intervient pas dans l’accord)
Je vous remercie de m’avoir adressé Madame/Monsieur X

…que j’ai vu (si le médecin a vu un homme) vue (s’il a vu une femme) à ma consultation le …. »

Le COD ici est « que » (qui reprend soit un homme soit une femme) avec lequel on accorde.

N’importe quel médecin (homme ou femme) écrira : 

Le patient que vous m’avez adressé = le COD est le patient (M’ est toujours COI)
La patiente que vous m’avez adressée = COD = patiente (M’ COI).

Il devrait commencer ses lettres par  « je vous remercie de m’avoir adressé » : il n’y a pas de C.O.D. antéposé ( = placé avant le verbe) susceptible de conduire à écrire le PP au fém. sing.

« Si c’est une patiente, est ce que la phrase est « je vous remercie de m’avoir adressé madame Y que j’ai vue à ma consultation le … » ? »
Oui.

« et si c’est un patient, c’est la même chose ? »
Non. ==> que j’ai vu.

S’il raye la mention inutile (monsieur si c’est un femme ; madame dans le cas contraire). Donc, il devrait accorder le PP  au masc. sing. (vu) s’il s’agit d’un homme et au fém. sing. (vue)  si’il s’agit d’une femme.

En écriture inclusive (déjà interdite à l’école) : »Je vous remercie de m’avoir adressé M. / Mme X que j’ai vu.e à ma consultation le …. ».
Plutôt que « Mme / M. » Si on veut l’ « égalité », il faut vouloir l’ordre (« vu.e »).