Théoriquement, si l’on tient quelque chose,  c’est forcément avec les mains (sauf rares exceptions…).
Aussi « tenir dans ses mains  » et « tenir dans les mains  » sont des tournures inappropriées.

Oui, dans le cas que vous citez, il est recommandé d’employer « avoir », et « dans  » est inapproprié ici, il faut utiliser « entre » :
C’est la lettre que j’ai eue entre les mains. (et non pas « mes  mains »)

Pour l’emploi du verbe « tenir« , vous pourriez dire par exemple (quand il s’agit de précisions sur la façon de tenir) :
C’est une lettre que j’ai tenue à peine un instant.
J’ai tenu la lettre du bout des doigts / entre deux doigts.

J’avais déjà cherché la définition du verbe  » tenir « . Les mains et les bras du sujet sont impliqués dans l’action verbale. J’ai vu ces phrases dans un cours de français sur internet. J’ai trouvé ça bizarre… Oh là là ! Merci bien pour votre explication, Cathy Lévy. Passez une bonne journée !

Effectivement, on peut « tenir une femme dans ses bras« , mais pas « dans ses mains« .
On peut « avoir son avenir entre les mains » mais pas « tenir son avenir dans ses mains« .

Merci beaucoup !

Je ne dirai pas tout à fait la même chose.
Il est incontestable que « tenir » signifie « avoir à la main ou entre les mains », cependant, je ne dirais pas que tenir dans ses mains est inapproprié. Ce peut être un choix , en contexte.
Je la reconnais, c’est la lettre que j’ai tenue dans les/mes mains/dans mes propres mains.
A noter que « propres » ajoute un pléonasme.
A noter : Je la reconnais, c’est la lettre que j’ai tenue.  Bien que correcte, cette phrase a peu de chance de se dire. Pourquoi? Pour une question de rythme, peut-être, de sens aussi. On comprend presque « pour éviter qu’elle tombe ».

Votre autre question :
« Peut-on utiliser » avoir » au lieu du verbe » tenir » dans ces phrases ? »
Oui, on le peut. Il y a une nuance.
« Tenir » est plus concret, « avoir » semble plus vague. Exemples :
Je la reconnais, c’est la lettre que j’ai tenue dans les/mes mains.  « Tenir » suggère une perception sensorielle forte, une émotion peut-être aussi, même rétrospective (cette lettre a  sans doute une grande importance)
Je la reconnais, c’est la lettre que j’ai eue dans/entre les mains. Le lieu, le moment, le contenu même, peut être vague (cette lettre est passée entre mes mains).

Je vous remercie de vos commentaires, Tara et Cathy Lévy. Je suis journaliste et apprécie beaucoup la diversité de points de vue sur la question posée. Vos commentaires me permettent de mieux comprendre. Je suis intéressée par les questions relatives à la grammaire, l’orthographe et la rédaction. Merci bien ! Passez un bon week-end !