C’est au cas par cas et en fonction du sens que le choix du nombre du complément se fait. Il est des fois où,

– seul le singulier est possible :
Des réserves de chasse (des réserves où on pratique la chasse et non les chasses) ;

– seul le pluriel l’est :
Des réserves de chevaux (des réserves où vivent des chevaux et non un / le cheval) ;

– les deux le sont :
Des vêtements de femme(s) (des vêtements destinés à la femme – sens générique – ou aux femmes).

Votre cas relève de la troisième possibilité, directeurs de musée(s) : qui dirigent chacun un musée vs qui dirigent des musées, ce choix se retrouve dans l’usage* ; de la même façon le non choix des exemples précédent est suivi par l’usage, chasse ; chevaux.

* On voit ici que lorsque musées est au pluriel, dans la majorité des cas, ce n’est pas parce qu’il est suivi complément.