Lorsque vous avez un doute de ce type, entre un infinitif et un participe, faites rapidement un essai avec un verbe pour lequel on entend la différence :  C’est trop  vouloir que de le laisser choisir ? (et non voulu). C’est donc bien l’infinitif qui convient ici.