desde que você esteja usando a edição do servidor, declararei todas as etapas necessárias:
Faça o download do deb
32 bits:
wget http://www.teamviewer.com/download/teamviewer_linux.deb
64 bits
wget http://www.teamviewer.com/download/teamviewer_linux_x64.deb
depois disso basta instalar o teamviewer:
sudo dpkg -i teamviewer_linux.deb
ou teamviewer_linuxx64.deb se você baixou a versão de 64 bits.
Deve funcionar sem vinho, eu apenas testei isso.
Mas você não deveria usar outro cliente vnc? Porque teamviewer é legal e fácil, mas não dá uso particular para um servidor.