Servidor Headless Ubuntu 16.10 não reconhecendo caracteres especiais UTF-8

Question

Eu instalei o Ubuntu Server 16.10 sem cabeça na minha máquina virtual. Quando eu digito qualquer caractere especial no meu terminal ou arquivo vim, os caracteres não são reconhecidos, ao invés disso eu só vejo pontos.

Existe uma imagem abaixo que mostra o problema que estou enfrentando:

Esses quatro caracteres são pontos de exclamação.

Além disso, como ele não aceita esses caracteres, não consigo sair do vim sem salvar.