Le mot châtain est en soi un adjectif de couleur, pas un nom utilisé comme nuance. Il s’accorde donc comme les autres adjectifs (bleu, vert, brun, etc.). Seul, il prend la marque du pluriel et du féminin qui est suffisamment répandu de longue date pour qu’on oublie toute querelle stérile sur le mot châtaine.
En composition, c’est la règle classique lorsqu’un second adjectif modifie le premier : aucun des deux ne varie. Donc : des cheveux châtain clair (vert foncé, rouge fluo, etc.) L’accord se ferait si clair qualifiait isolément les cheveux : Elle a les cheveux clairs, châtains.

PS  Le cas des adjectifs de couleur dérivés d’un nom d’objet ne se limite pas à châtain. J’évoquais dans une réponse à une question similaire les cas de violet, opalin et zinzolin. Tous s’accordent et ont leur féminin propre.