Votre phrase n’est pas complète et il est donc difficile de trancher. Dans le cas d’un nom collectif singulier (ici ensemble) avec un complément au pluriel (ici défis) les accords peuvent en effet se faire avec l’un ou avec l’autre selon le sens ou l’intention.
Devant un pronom relatif, par défaut, l’accord se fait avec le nom qui précède immédiatement : « L’ensemble des défis qui s’imposent à nous sera difficile à contrôler. »
Dans le cas contraire, il est fréquent d’introduire une virgule avant le pronom pour « casser » le lien et déplacer le rapport : « L’ensemble des défis, qui s’impose dès à présent, sera difficile à contrôler. »