Seu exim4 está configurado incorretamente.
Você precisa descobrir qual é a melhor maneira de enviar e-mails do seu provedor de VPS. Pode ser através do seu servidor SMTP, o que significa que você precisa configurá-lo para um smarthost ou pode ser entregue diretamente pelo seu VPS, o que significa que você precisa configurá-lo como um completo internet site.
De qualquer forma, reconfigure seu exim4 emitindo um:
# sudo dpkg-reconfigure exim4-config
Lá você pode selecionar:
internet site; mail is sent and received directly using SMTP
mail sent by smarthost; received via SMTP or fetchmail
mail sent by smarthost; no local mail
local delivery only; not on a network
no configuration at this time
Reconfigure de acordo.