En effet, « témoin » est souvent un être humain.
Mais pas seulement.
Voici ce qu’en dit l’Académie :
Témoin muet, Chose qui peut servir d’indice, ou d’une sorte de preuve, ordinairement dans une affaire criminelle. Son épée ensanglantée, trouvée dans la chambre du mort, fut un témoin muet contre lui.

Aussi vous pourriez écrire (si vous êtes une femme) :
Le fait de m’avoir enfermée pendant quatre ans en est le témoin muet.

L’Académie évoque aussi la tournure que vous proposez :
Témoin signifie aussi Témoignage, marque, monument, ce qui sert à faire connaître. Telles et telles églises sont les témoins de la piété de nos rois. Le Colisée est encore aujourd’hui un témoin de la magnificence romaine.

Malgré tout, le fait de vous avoir enfermée n’est pas un témoignage « concret » si j’ose dire, comme l’est un monument, même s’il est évident que 4 ans d’enferment ont été très concrets pour vous !
Donc la phrase que vous proposez ne convient pas.

Enfin, l’Académie dit aussi :
Il s’emploie elliptiquement au commencement d’une phrase, pour amener une Chose qui sert à prouver ce qu’on vient d’avancer ; il reste alors invariable. Témoin ce qui est arrivé. Témoin les blessures dont il est encore tout couvert.

Aussi, vous pouvez écrire :
Témoin le fait de m’avoir enfermée pendant quatre ans.