A propósito: alt-sysrq- [rk] não ajudará aqui - ele realmente mata todos os programas em si e coloca você nesse cenário de console. No entanto, esse não é o problema. Em poucas palavras, é nouveau.
Pelo que você está dizendo, o servidor X ainda está funcionando, mas a "conexão" gráfica parece estar cortada do seu monitor.
Como um driver nouveau é para cartões NVIDIA, o java, o firefox e seus outros programas estão tentando utilizar o cartão pensando que está disponível. Isso é chamado de aceleração de vídeo (também conhecido como hardware).
A tela "lockup" não é do servidor X, é pela falta de recursos de hardware em Nouveau para sua placa (renderização 3D, decodificação de vídeo, etc.), então quando um programa tenta usar um deles, falha nouveau.
Considere os nomes de código da GPU e video engines para placas NVIDIA. Supondo que você tenha uma placa série GeForce 6/7, ela acaba na família NV40 (Curie), que por sua vez usa os mecanismos de vídeo VPE1, VPE2 e VP1, nenhum dos quais suporta aceleração de vídeo (hardware) (exceto para XvMC de VPE2) . Isso é o que está fazendo o seu servidor X "falhar". (Esteja avisado, o driver proprietário da NVIDIA não ajudará nesse caso por causa dos recursos ausentes.)
A solução é desabilitar totalmente a aceleração de hardware e manter a renderização de software até obter uma placa suportada. No java 8, você pode fazer isso: java -Dprism.order=sw -jar my.jar
, funciona bem no meu sistema. E o firefox tem uma opção em suas preferências avançadas para ativar a aceleração de hardware (se estiver disponível, o que equivocadamente é, mas não sei por que), certifique-se de que esteja desmarcada.
Atualização: o nouveau nunca foi bom em utilizar o hardware da NVIDIA, então se você estiver usando um e sua distro (por exemplo, o RHEL 7) dificulta a obtenção de drivers proprietários eu recomendo substitua a placa por uma Radeon / Intel cujos drivers de código aberto tenham melhor suporte.