Les noms des lettres grecques (ou de beaucoup d’autres langues anciennes ou modernes) sont des noms francisés et lexicalisés depuis longtemps. On leur applique donc les mêmes règles qu’à tous les autres mots et l’élision se fait régulièrement devant ceux qui commencent par une voyelle (il n’y a pas de h muet à ma connaissance, c’est une invention tardive) : l’aleph (hébreu), l’iota, l’êta, l’omicron, etc.
« Vous relevez, dis-je, de l’epsilon minuscule. » (Jules Romains)
Remarque : se méfier de cas tordus comme le eszett allemand (ß) qui  malgré la voyelle initiale, purement graphique, correspond à un s. Il n’y a donc pas d’élision.

Pour ce qui est d’ajouter la mention « la lettre » devant son nom, c’est une affaire de contexte. Cela se fait si l’ouvrage ou le lectorat le demandent.