Il semble que (+ subjonctif) exprime une incertitude, une éventualité, ou une affirmation atténuée : il semble qu’il se soit perdu ; il semble que vous ayez raison. Il semble que (+ indicatif) marque une réalité que l’on constate selon toute apparence : il semble qu’il s’est perdu ; il semble que vous avez raison. (Larousse)

Je dirais plutôt que l’indicatif place le fait comme une information à vérifier et le subjonctif comme une question à débattre

On peut également employer le conditionnel pour marquer une éventualité ou l’expression atténuée d’une opinion. Exemple: Il semble que ce pantalon t’irait mieux.
il vous revient de choisir.
>> Au vu de la réaction de ces personnes, il semble que ta blague les a/les ait dérangés plus qu’autre chose
Le participe passé est employé avec l’auxiliaire « avoir ». Son accord se fera s’il a un COD placé avant. Ce qui est le cas : les (pronom pluriel) est COD  du verbe « déranger »

Juste une petite précision, l’accord du PP se fait avec le COD « les » qui renvoie à « ces personnes », féminin-pluriel.
Il est vrai que parmi elles se trouvent probablement à la fois des femmes et des hommes, mais cela ne change rien à la règle, et l’on devrait écrire :
Au vu de la réaction de ces personnes, il semble que ta blague les a dérangées plus qu’autre chose.