À force de vouloir être précis, joelle, on risque de perdre en clarté, en concision, en esthétique, en poésie.
Ne trouvez-vous pas que « tu l’avais oubliée », simplement, est quand même préférable, pour ces raisons, à «  tu ne te souvenais plus d’elle » ou à « tu l’avais effacée de ta mémoire » que je trouve plus lourd ?
Enfin, l’accord est suffisamment explicite pour la compréhension, c’est sans ambiguïté, il n’est pas nécessaire de modifier la phrase :
— « […] Anne, […] mon meilleur souvenir d’enfance,  […] son prénom , tu l’avais oubliée », c’est bien Anne qui est oubliée.
— « […] Anne […] mon meilleur souvenir d’enfance, […], son prénom, tu l’avais oublié », c’est bien le prénom qui est oublié.