Madame l’Adjointe au Maire, c’est très bien. C’est la pratique à la Mairie de Paris.
Les titres et les appellations honorifiques, lorsqu’on s’adresse directement à la personne, prennent une majuscule. C’est une règle pour la correspondance.

Il n’y a pas de majuscule si on évoque l’adjointe au maire ou si l’on parle des adjoints ou de la fonction d’adjoint.