L’accord se fait avec le COD « m », en fonction du sexe de l’auteur :
Si « m » est une femme –> La personne qui m’a appelée 
Si « m » est un homme –> La personne qui m’a appelé
Au pluriel, de la même façon :
La personne qui nous a appelées / appelés

De plus, comme vous l’écrivent Bruno et Ouatitm, le verbe « contacter » est un calque de l’anglais, et son emploi est à éviter.
Enfin, votre tournure est plutôt lourde.
Diriez-vous « la personne qui a pris contact avec moi par téléphone » ?
Je suppose que vous diriez plutôt « Celle qui m’a téléphoné » ?
Je vous suggère :
La personne qui m’a écrit (ce courriel)