Si l’expression figée « en venir au fait «  existe avec une signification précise, rien ne vous empêche dans un autre contexte de dire ou d’écrire :
« j’en viens aux faits« , si des faits se sont produits et que vos interlocuteurs attendent que vous les rapportiez. Bien sûr, cela aura un autre sens.