Bonjour. Il faudrait entendre l’audio mais, à lire le texte sans ponctuation, je trouve deux interprétations possibles. Celle que vous faites. Et celle-ci :

Il m’a répondu franchement : « Tu as tort ! »

Il m’a répondu: « Franchement,  tu as tort. »

Bonjour,

Il s’agit d’orthotypographie.

Parmi les fonctions multiples du guillemet, qui a donné lieu à plusieurs thèses d’université, la plus importante est de signaler au lecteur qu’on passe en discours direct. Dans ce cas, un deux-points l’introduit, mais ce n’est pas obligatoire.

Plume déjeunait au restaurant, quand le maître d’hôtel s’approcha, le regarda sévèrement et lui dit d’une voix mystérieuse : « Ce que vous avez là dans votre assiette ne figure pas sur la carte. »

Dans la prose moderne, à la suite de Marguerite Duras, on aime le deux -points autant qu’on le méprise. On se délecte à le supprimer, sans doute pour le rendre plus précieux.

Elle dit écoutez comme le jour est lent à venir, croyez vous que c’est parce que nous sommes en banlieue ? Je dis je ne sais pas.

Extrait du livre de J. Drillon ─ Traité de la ponctuation française.

Vous pouvez alors écrire :

Il m’a répondu franchement : « Tu as tort. »
ou
Il m’a répondu franchement tu as tort.