Vous n’avez pas le choix. « Un peu » n’est pas une chose qui tombe. C’est la pluie qui tombe.
« Un peu de » a l’apparence d’un nom commun, mais son rôle syntaxique n’est ici que celui d’un adverbe de quantité.
–> Un peu de pluie était tombée.
On n’accorde jamais rien avec un adverbe.
L’accord avec le substantif masculin « un peu » n’est possible que pour parler réellement d’une quantité, et dans ce cas il ne s’agit plus d’une locution adverbiale, mais d’une locution nominale.