Dans ces formes d’impératif (idem pour Va y et vas-y), le trait d’union n’est ajouté que si le y est le complément de aller, mais on s’en abstient s’il est celui du verbe qui suit.
On notera que le premier cas implique une liaison, pas le second…
À vous donc  d’adapter à chaque situation, mais votre exemple semble relever du second cas : allons y voir de plus près (le y est complément de voir, non de allons).
N.B. Il peut y avoir doute car on ne sait pas toujours si y désigne un lieu précis ou s’il fait partie de la tournure idiomatique dans laquelle il n’a pas de fonction grammaticale…