On se rappelle quelque chose ==> pas de « de » et pas de « en » ==>on se le rappelle
On se souvient de quelque chose==> on s’en souvient.

Je me rappelle cet événement, je me le rappelle. Je ne me rappelle pas avoir parlé de cela.
Se rappeler + inf. passé.Je me rappelle avoir parlé anglais lorsque j’étais très jeune (cnrtl). 

Nous ne nous sommes pas beaucoup parlé, car je me  le serais rappelé ou je m’en serais souvenu.