à peut être synonyme de avec (voir le TLF)

wiktionnaire :
« à la main » définition

1. Avec la main.
   • […] n’avait-il point remarqué une superbe truite qui se calait sous un rocher de la rive. […] La question se posait seulement de savoir s’il la prendrait au filet ou à la main. — (Louis Pergaud, L’Évasion de Kinkin, dans Les Rustiques, nouvelles villageoises, 1921)

C’est justement cet emploi qui est à l’origine de l’emploi figé « à la main » pour dire « artisanalement ». Cette expression figée vient donc précisément confirmer le sens de « avec », « au moyen de » que peut prendre cette préposition hautement polysémique.
—
b) À introduit un complément  de moyen, de manière, de matière…,  (Linternaute)
—
Voici quelques exemples (Reverso) qui montrent, s’il était besoin,  à quel point l’emploi de « à la main » équivalent de « avec la main » est courant :
Mettre des gants lorsqu’on enlève des décombres à la main.
Ces compositions détergentes conviennent pour être utilisées en particulier dans le lavage à la main.
Si vous remplissez le formulaire à la main, veuillez écrire lisiblement.

—-
Je maintiens donc  : on peut dire qu’un sport se joue « à la main » ou « avec la main ».