Les deux sont possibles selon le contexte.
Une relative adjective est souvent accolée au nom qu’elle complète, mais ce n’est pas toujours le cas. L’accord au pluriel avec le complément du nom semble tout de même plus naturel.
Essayez de chercher l’identité logique de ce qui s’impose.

Votre phrase n’est pas complète et il est donc difficile de trancher. Dans le cas d’un nom collectif singulier (ici ensemble) avec un complément au pluriel (ici défis) les accords peuvent en effet se faire avec l’un ou avec l’autre selon le sens ou l’intention.
Devant un pronom relatif, par défaut, l’accord se fait avec le nom qui précède immédiatement : « L’ensemble des défis qui s’imposent à nous sera difficile à contrôler. »
Dans le cas contraire, il est fréquent d’introduire une virgule avant le pronom pour « casser » le lien et déplacer le rapport : « L’ensemble des défis, qui s’impose dès à présent, sera difficile à contrôler. »