Eu tenho duas ideias:
(1) Use a opção Ativar área de trabalho remota na caixa do Ubuntu para ser acessada por computadores em outros locais da casa por meio de um cliente VNC. link
(2) Execute o Xbox Media Center (XBMC) na caixa do Ubuntu e opere com um controle remoto no seu iPhone, Android ou PC: link