Bonsoir,
Pour compléter la réponse qui a été donnée :
Dans cet usage, manquer s’utilise avec un COI : on manque à quelqu’un. (emploi transitif indirect, si je ne me trompe pas ?)
Donc si on déroule la phrase pour observer la structure du verbe, ça donne : « La seule chose qui (sujet) avait manqué à moi (COI), c’est sa présence ». L’accord ne se fait donc pas ici, parce que le pronom « m' » est COI et non COD 🙂