Usando x2x
e alguns encaminhamentos do X11, consegui que isso funcionasse.
ssh -X htpc x2x -to :0
A única desvantagem atualmente é que eu tive que usar um TTY para matar o SSH para sair dele. Ainda procurando como sair quando eu terminar! Caso contrário, é um método bastante agradável e simples (e shortcuttable) para transferir entrada de um computador para outro.
Editar: adicionando -nomouse
me deu a capacidade de fechar a janela x2x
encaminhada e posso desfocá-la para voltar rapidamente a outras coisas sem precisar desligar a conexão.