Je pense pour ma part qu’il s’agit moins de concordance des temps que d’emploi modal du conditionnel :
Le locuteur n’a pas la force de revoir X et Y car il fait l’hypothèse que s’il les voyait, ces personnes lui rappelleraient (conditionnel) son père.
De ce fait, la probabilité qu’il les rencontre est faible, le conditionnel est pleinement justifié.

Le futur du passé, ce n’est pas pareil :
Hier, il m’a dit qu’il viendrait (aujourd’hui).

Aujourd’hui, nous l’attendons, c’est du présent ; mais c’est du passé par rapport à hier (quand il a dit)==>donc conditionnel (aspect temporel ou futur du
passé).

Bilan, ne pas confondre la valeur modale et la valeur temporelle ou aspectuelle du conditionnel.