Si « pas vu » signifie « pas compris », « pas deviné »… et que le pronom « l » signifie « que c’était de la vigne », alors il n’y a pas d’accord à faire. Et c’est bien ainsi qu’on comprend votre phrase, avec son introduction.

Si par contre vous vouliez dire dans un sens concret « voir la vigne », qui lui était cachée quand il était en haut et qu’il voit en descendant, le pronom « l » serait mis pour « la vigne » et il faudrait accorder « il ne l’avait pas vue ».