Il y a des cas où la répétition de la préposition entraîne des phrases ambiguës : Je te présente mon père et mon meilleur ami vs Je te présente mon père et meilleur ami. La première phrase contrairement à la deuxième signifie que l’on présente deux personnes. Une autre formulation permet de conserver la répétition de la préposition tout en signifiant qu’on présente une seule personne (qui est à la fois le père et le meilleur ami du locuteur) : Je te présente Arthur, qui est mon père et mon meilleur ami.

Dans votre phrase, la présence du verbe entrer implique – même si la préposition est répétée – qu’il est question d’une seule pièce, cependant, préposition répétée ou omise, je trouve votre phrase maladroite.  Si vous en avez la possibilité, le mieux serait de la reformuler. Propositions pas forcément géniales, mais c’est pour vous donner des pistes :
… qu’il entrait dans un bureau-musée, dans un bureau qui ressemblait à un musée, comme s’il entrait dans un musée, etc.