Sur un pur plan grammatical, vous pouvez bien entendu accorder à votre convenance. La question est de savoir si le pluriel uniquement graphique ajoute quoi que ce soit au sens. Le « gout du jour » est une abstraction qui se suffit à elle-même et c’est le singulier que l’on entend et comprend. C’est aussi comme cela qu’on la trouve dans les publications.
Si vous voulez vraiment faire ressortir un pluriel, il faut le montrer plus visiblement : « aux différents gouts du jour », « aux gouts discordants du moment » « aux gouts variés de l’époque », etc.