Você pode configurar o encaminhamento do X ou dar ao Vim uma opção para não tentar entrar em contato com o servidor X (note que é um X maiúsculo):
vim -X
No entanto, geralmente o Vim não tenta se conectar a um servidor X, a menos que ele acredite estar disponível; de alguma forma, sua variável de ambiente DISPLAY está sendo definida em algum lugar.