Pour savoir si le participe s’accorde et avec quoi il faut d’abord repérer l’auxiliaire : est-ce être ou avoir?
Vous lui en avez voulu  ?                          –>auxiliaire avoir
Vous leur en avez voulu  ?                       –> auxiliaire avoir
Vous n’êtes jamais sortis ou sorties (si « vous » est féminin) ensemble ? –> auxiliaire être
Ensuite :
Si c’est  l’auxiliaire être, on cherche le sujet et on accorde avec lui.
Si c’est l’auxiliaire avoir, on cherche si le verbe a un COD et si oui, s’il est placé à gauche du verbe. Si oui, on accorde avec lui, sinon, on ne fait aucun accord.
Dans vos deux premières phrases il n’y a pas de COD. « Lui » et « leur » sont COI (ils remplacent « à lui » et « à eux »).