Se encontrou a resposta que eu estava procurando apenas no caso de alguém se deparar com isso no futuro.
Veja como:
dan@micro:~$ ssh bigbox
dan@bigbox:~$ export DISPLAY=:0
dan@bigbox:~$ teamviewer
O TeamViewer apareceu no meu grande PC. Perfeito!