O que você está procurando é um Thin Client, que é o que eu os vi referenciados em vários projetos e pessoas como a HP que vendem máquinas com isso.
Qualquer sistema operacional Linux que seja executado / ajustado em um pen drive será capaz de fazer isso. E há muitos tutoriais para fazer isso com sua distribuição favorita. Você pode até configurá-lo para que um X11 básico seja carregado com o rdesktop já conectado e maximizado na janela.
Aqui está um site pendrive do Linux - Aqui está um projeto interessante LTSP , ele executa um linux em uma máquina de rede. E aqui está um projeto que parece fazer exatamente o que você quer (junto com alguns outros protocolos remotos) Thinstation