Comme « jamais » (qui veut dire un jour), « pas » a à l’origine un sens positif (mesure de distance). Avec cette approche, le « ne » niant un verbe n’est jamais facultatif (je ne viendrai jamais / je ne suis pas vraiment sûr), sauf en réponse courte sans verbe (tu viendras ? jamais ! / tu es sûr ? pas vraiment / tu y es ? pas loin !).

Pour une négation portant sur le verbe, on utilise donc l’adverbe « pas » et on ne supprime jamais le « ne » :
— La ferme ne se situe pas loin du château.
Pour inverser un adverbe en gardant un sens positif à la phrase, on utilise l’adverbe « non », qui est négatif par lui-même :
— La ferme se situe non loin du château.
Donc, les sens « ne pas être loin » et « être pas loin » existent bien, ils sont effectivement différents, mais le deuxième sens s’exprime sans faute par « être non loin ».

Si la réponse est assez simple avec « loin », on peut reconnaître qu’elle est impossible à étendre à « grand » ou « vraiment », car « non grand » et « non vraiment » ne se disent pas, mais on ne dit pas davantage « il est pas grand » ou « il est pas vraiment sûr ».
Il se trouve que l’adverbe « loin » associé au verbe « se situer » permet ces deux constructions et ces deux sens. La particularité de cet adverbe (il ira loin) qui se prend parfois pour un adjectif (il est loin, éloigné) est sûrement pour quelque chose dans la double approche possible, c’est à creuser.

En partant de votre deuxième phrase pour laquelle la présence de ne est impossible, on peut peut-être supposer que dans les versions dépourvues de ne apparent (alors qu’il est possible), celui-ci est tout de même présent de façon sous-jacente (par ellipse).

Prenons donc votre deuxième phrase en la modifiant un peu (juste parce que l’indépendance de pas loin est plus perceptible, me semble-t-il) :
Pas loin de la ville, je connais d’excellents producteurs.

Je pense que l’on peut dire que cet énoncé équivaut à Dans un endroit qui n’est pas loin de la ville, je connais d’excellents producteurs, et qu’on retrouve le même phénomène dans :
Il vit [dans un endroit qui n’est] pas loin de chez ses parents ou dans La ferme se situe [dans  un endroit qui n’est] pas loin du château.

Alors, on voit qu’on ne dit pas exactement la même chose, avec : Il ne vit pas loin de chez ses parents, on nie Il vit loin de chez ses parents ;
alors qu’avec Il vit pas loin de chez ses parents, on affirme que son domicile n’est pas éloigné de celui de ses parents.

Dans le premier cas, la négation porte sur vivre (sur le sujet finalement : Il (ne) vit (pas) loin), dans le second sur le lieu (le domicile est situé loin / n’est pas situé loin).

Et donc pour répondre à vos deux questions : il est proscrit en l’absence de verbe, et en présence il est facultatif, mais avec une nuance de sens.

Il ne vit pas loin de chez ses parents.  La négation porte sur l’adverbe – on n’a pas la locution adverbiale « pas loin »,seulement l’adverbe « loin ».
Je connais d’excellents producteurs pas loin de la ville. Ici, la phrase est affirmative : « pas loin » est locution adverbiale synonyme approximatif de « proche ».
La ferme ne se situe pas loin du château.
La ferme  se situe pas loin du château.
Les deux formulations ne répondent pas au même contexte  sans doute.
La ferme ne se situe pas loin du château. tu n’as pas besoin de prendre ta voiture.
Où se trouve la ferme ? Elle se situe pas loin du château