Ce sont deux questions bien différentes.

* Avec un sujet collectif du type « une foule de gens », « un groupe de manifestants », « une poignée d’élèves », vous avez le choix entre conjuguer selon le nom exprimant la quantité (au singulier) et conjuguer selon son complément (au pluriel), selon ce sur quoi vous voulez insister.
Avec un déterminant précis comme « cette », ou avec un verbe portant forcément sur la quantité comme « suffire », ou avec un adverbe portant sur la quantité, ou avec l’adjectif « seul », on insiste forcément sur cette quantité et on conjugue au singulier :
— cette poignée d’hommes a réussi…
— une poignée d’hommes a suffi…
— à peine une poignée d’hommes a déserté…
— seule une poignée d’hommes a déserté…
— Seule une poignée d’élèves faisait l’effort de participer.

* « Une montagne de livres » n’est pas un collectif signifiant « beaucoup de livres ». Vous n’avez pas à hésiter entre « une montagne de livres est à lire » et « une montagne de livres sont à lire ». Ne cherchez pas de règle à appliquer. Vous avez juste une image, visuelle, que vous utilisez comme vous le souhaitez, la montagne représentant probablement un entassement, une haute pile de livres. Si vous parlez de livres disposés sur une table, ils ne forment pas une montagne, et ne dispose pas de montagnes sur les tables. C’est là le principal problème de votre phrase.