Il faut choisir entre  Vous avez mis du temps et Vous y avez mis le temps.
Il y a une nuance : la deuxième formulation signifie vous avez consacré du temps à (faire) cela ; la première ne comporte que la notion de durée.
Si donc on veut dire qu’on a attendu quelqu’un trop longtemps et qu'(on ne focalise pas ce qu’il avait à accomplir) il faudra dire : vous avez mis du temps. 
Sinon : vous y avez mis le temps, pour arriver (ici ce qui a demandé du temps, c’est d’arriver)