Bonjour.

Les deux sont possibles.
Avoir à faire -> avoir à réaliser : Je ne veux rien avoir à réaliser avec vous[…]
Avoir affaire -> être en rapport avec : Je ne veux pas être en rapport avec vous[…]

Bref, c’est quasiment la même chose.
Cependant l’expression « avoir affaire » exprime plus une confrontation… Vu la suite de votre message je pense donc qu’il est préférable d’employer cette formule là. 😉