Je pense qu’on peut dire, en marquant une pause avec une virgule :
« C’est difficile à dire, la vérité. »

Sans marquer de pause, et en mettant l’accent sur « C’est difficile », en effet, la phrase devient, c’est plus correct :
« C’est difficile de dire la vérité. »

On peut donc employer « à » ou « de », mais attention, pas de la même manière, en particulier, la virgule est obligatoire avec « à ».