Bonjour Line, pour mieux entendre la différence, remplaçons le verbe pronominal se demander par un verbe non pronominal, aller par exemple :

– mon copain et moi allons faire des courses

– mon copain et moi nous allons faire des courses

La tournure correcte est la première. La seconde, avec la répétition du sujet en apposition (mon copain et moi + nous) appartient plutôt au langage parlé courant, et il conviendrait d’ajouter une virgule après l’apposition : mon copain et moi, nous allons faire des courses.

Donc dans votre phrase, c’est également la première qui est la plus correcte : mon copain et moi nous demandons s’il faut y aller. La seconde, plus relâchée et du langage parlé, nécessite donc une virgule : mon copain et moi, nous nous demandons s’il faut y aller.