Je dirais : de petits bouts de femmes car l’expression désigne plusieurs femmes et il l’a traité de noms d’oiseaux (plusieurs noms pour plusieurs oiseaux). Voir questions similaires ici et ici. 

Bonjour,

Par analogie, le mot bout désigne ce qui est petit, incomplet, tronqué ; par exemple :
• Un bout de lettre : une lettre courte.
• Jouer un bout de rôle : jouer un rôle secondaire, sans importance.
L ‘expression : « Bout de femme, bout d’homme » signifie « homme , femme très petit(e)». L’idée de « tronçon» est fréquente pour exprimer la  petite taille.
Ainsi un petit bout d’homme ou de femme est un pléonasme fâcheux.
Pour désigner une personne de petite taille, on peut employer : demi-portion, avorton, gringalet, myrmidon.

Pas de pluriel pour cette expression.