Acontece que eu sou um usuário habitual de twm. Meu pensamento é que o arquivo .twmrc, ou talvez o arquivo .xinitrc, está bagunçado. Eu faria isso de um terminal:
cd ~
mv .twmrc orig.twmrc
mv .xinitrc orig.xinitrc
E tente iniciar o X11. Se você não está usando twm, e o X11 está voltando ao twm como algum tipo de fail-safe, eu renomeio todos os arquivos de inicialização do X11 que qualquer coisa que você queira usar está usando. Algo está em um loop infinito.