Então, eu encontrei a resposta, como resultado de outra resposta que foi totalmente condescendente e realmente me chateou (e foi excluída), mas me forçou a cavar e cavar para descobrir como fazer isso. A resposta está no x11vnc, que aparentemente foi criado parcialmente para esse propósito. Felizmente, o Xen realmente instala x11vnc para mim, então eu nem preciso instalá-lo. Basta executar:
sudo x11vnc -rawfb console
e blammo, vnc para o console. Como um KVM, mas requer rede. Existem um milhão de opções para o x11vnc, e ainda não as explorei, mas isso é perfeito e exatamente o que eu preciso. Para executá-lo em segundo plano, adicione um sinalizador bg:
sudo x11vnc -bg -rawfb console