Non, votre phrase n’est pas correcte. Vous avez parfaitement vu la double négation.
Vous ressentez le besoin de commencer par une négation :
— Des jours où je n’ai envie…
Vous ressentez le besoin d’introduire le verbe commandant le ni-ni par une négation :
— Je ne réponds ni à… ni à…
Ces deux négations ne sont pas compatibles.