Le mot vierge ne désigne pas ici la Vierge Marie, un nom propre qui requiert la majuscule, mais des objets qui la représentent et sont de simples noms communs. Donc pas de majuscule dans ce cas et accord au pluriel : des niches à vierges.
Il y a d’autres cas comme des christs en pierre, des saints-nicolas en pain d’épice, des jésus sur l’étal du santonnier, un saint-christophe sur le tableau de bord, etc.
Même si on peut trouver des exemples contraires, ce qui est prioritaire c’est la règle, qui régit d’ailleurs d’autres domaines : noms de vins (du beaujolais mais un vin du Beaujolais), de produits alimentaires ou de planètes (Terre-terre), etc.