Je garderais le pluriel qui souligne la convergence de faits malheureux.
D’ailleurs, on pourrait comprendre  le signe +
Le désintérêt persistant de mon ami + la colère de mon père, le tout + la disparition de mon frère, commencèrent à éroder ma joie de vivre.
—> les sujets s’additionnent et ne sont pas repris par un pronom. Certes les deux premiers sujets sont repris par le pronom tout et s’il n’y avait pas un troisième sujet, on écrirait :
Le désintérêt persistant de mon ami ajouté à la colère de mon père, le tout commença à éroder ma joie de vivre.

Mais on ajoute un troisième sujet :
 Le désintérêt persistant de mon ami ajouté à la colère de mon père, le tout combiné à la disparition de mon frère, commencèrent à éroder ma joie de vivre.

Cependant, la logique permet le singulier.

Il faut plutôt le verbe au singulier. En effet, les sujets sont en gradation ascendante : désintérêt + colère + disparition (le tout ne fait que reprendre…).

Henri Briet, L’accord du verbe,  « collection Langue française Grevisse », de Boeck, p. 75.