Il n’y a pas de problème grammatical mais « mes premières années » est insuffisant sans complément. On ne sait pas de quelles premières années il s’agit : premières années au collège, de mon existence, chez mon arrière- grand-tante de Saint-Pol-de-Léon ?  Stylistiquement, il convient donc de compléter ou d’employer une tournure plus explicite (durant ma prime jeunesse, par exemple).