Comme souvent dans ce type de formule à complément, lorsque le pluriel ne s’entend pas et qu’il n’est pas franchement exigé par le sens, c’est le singulier qui est préférable.
Certes le pluriel est grammaticalement possible mais le singulier est plus naturel (on dit aussi générique) et il est souvent stérile de se poser cent questions pour accorder.
Dans votre exemple, enfant peut aussi se laisser au singulier : L’instant où les grands ont perdu leur regard d’enfant.