Il faut le singulier :
Il y a des  temps de pause entre chaque partie.
Il y a une barrière entre chaque cheval.

(Selon le Larousse et le Robert, chaque est un « adjectif indéfini singulier ».)

Comme vous pouvez le voir dans les autres réponses, certains n’admettent pas cette construction. Leur argument a le défaut de se fonder sur une définition de chaque étriquée, qui ne rend pas compte de l’usage des auteurs les meilleurs et les plus divers ; la liste des citations qu’on peut ajouter à celle qu’a donnée Prince, citant Grevisse (Gautier, Rostand, Chateaubriand, Flaubert, Littré, Maupassant, Alain-Fournier, Proust, Gide, Mauriac), semble sans fin :

entre chaque tas, les maraîchers ménageaient un étroit sentier — Zola ;
Je renonce aux pages blanches entre chaque pièce. — Hugo ;
entre chaque coup de mer — Daudet ;
entre chaque groupe de marches, une plate-forme exiguë pour la porte d’une maison — Rolland ;
faire des quantités de zigzags entre chaque rangée de patates — Céline ;
ce qui donne entre chaque file l’intervalle nécessaire pour les mouvements — Larousse, Grand dictionnaire universel du XIXᵉ siècle  ;
entre chaque minute il s’écoulait de tels siècles — Sand ;
il n’y a qu’une moyenne proportionnelle entre chaque rapport — Rousseau ;
entre chaque coupole s’élancent des groupes de verdure — Lamartine ;
Entre chaque décharge le silence était effrayant. — Balzac ;
passer la tête entre chaque barreau — Dumas ;
il forme entre chaque côte un petit ganglion — Diderot ;
Je l’ai désignée entre chaque acte. — Beaumarchais…