Cette construction avec les verbes de perception est complexe et les analyses grammaticales qui en sont proposées ne font pas l’unanimité*. Cependant, si on décide de suivre la règle évoquée par CParlotte, alors il faut accorder ici le participe, puisque – pour reprendre l’exemple donné par CParlotte – c’est bien la mère qui meurt (qui est le « sujet » du verbe mourir, même si elle n’est effectivement pas l’agent de sa mort, sauf si elle s’est suicidée). Donc avec la phrase d’Hugo : Je les ai vus partir comme trois hirondelles.

Qui part (meurt) ? La mère, l’enfant, le père d’Hugo > ce sont bien le « sujet » du verbe partir / mourir >>> accord du participe.

À comparer avec un cas où le groupe nominal qui suit le verbe de perception n’est pas le « sujet » de l’infinitif, mais son objet :

Les fleurs, je les ai vu cueillir par brassées.

Qui cueille ? Les fleurs ? Non > ce ne sont pas le sujet de cueillir >>> non accord du participe.

* Voici par exemple un auteur qui défend le non accord :

Deuxièmement, d’un point de vue strictement orthographique, nous pensons qu’il convient de s’interroger sur l’accord du participe passé du verbe de perception avec SN2, mais uniquement quand ce dernier est considéré comme le sujet interprétatif de l’infinitif. En effet, si nous admettons que SN2 occupe accidentellement la fonction de complément d’objet direct de V et que le véritable actant complétif est la séquence SN2 Vinf complète, il nous paraît opportun de proposer de ne plus accorder le participe passé, puisque le véritable objet de V l’encadre de manière discontinue : [51] La petite découvrit à cette occasion, que quand on voulait rencontrer quelqu’un, on l’invitait à dîner. Cela lui parut inquiétant et absurde : connaissait-on mieux les gens quand on les avait vu(s) manger ?