Il n’y a aucune hésitation possible. L’adverbe modifie un verbe qui est passif.  L’agent de ce verbe+ adverbe n’est donc pas le sujet mais le complément (d’agent).
Il sortit, suivi à regret par son fils
Si « il » est sujet du verbe sortir, il est objet du verbe suivre dont on n’a que le participe passé (il était) suivi par son fils
« Fils » est bien l’agent (celui qui agit, qui suit) et complément introduit par « par »
« à regret » est locution adverbiale modifiant (donnant une information sur) le verbe suivre.
Transformé à la forme passive : Il sortit ; son fils le suivit (ou le suivait) à regret.