L’adjectif s’accorde avec le substantif, avec ou sans « de ».

Comme épithète, on ne met pas de particule.
— Je passe tous mes dimanches libres à Lille.
La particule de soutien « de » permet de préciser que l’adjectif prend un rôle d’attribut, et non d’épithète. C’est le même principe qu’avec un présentatif, qui permet de centrer le sens sur un mot (d’en faire le sujet réel) et l’adjectif devient un attribut.
— J’aurai tous les dimanches de libres (tous mes dimanches seront libres)

La particule est inutile (bien que possible pour clarifier) avec un présentatif classique : ce sont des dimanches libres, il y a des dimanches libres.
Mais si on veut utiliser le style présentatif avec un verbe qui n’est pas en lui-même présentatif, comme avoir, rester, on insère « de ».
— il me reste trois dimanches libres = des dimanches libres, il m’en reste trois
(le moteur de la phrase est « il reste », il reste quoi ? trois dimanches libres, et « libres » est épithète)
— il me reste trois dimanches de libres = trois de mes dimanches restent libres, seront libres
(on pose ici « trois dimanches » comme sujet réel de « rester » et « libres » comme attribut)
Si on souhaite le sens attributif, on peut quand même supprimer le « de », mais alors ce sera moins clair.