Bonjour,
Si vous voulez garder cette formulation et indiquer que vous n’avez vu aucune femme, vous devez l’écrire et le souligner : je ne me rappelle pas avoir rencontré une seule femme hier.

Sinon, dans les deux cas proposés, au singulier ou au pluriel, on comprend que vous n’avez pas vu la moindre femme.
Au singulier, on peut croire que vous répondez à la question : avez vous vu une femme hier ?