Parece que você tem RAM defeituosa na sua placa de vídeo.
O gerenciador de janelas 3D do Ubuntu provavelmente usa mais RAM do que o Windows, então no Windows você nunca usa memória RAM suficiente para ter acesso à parte da RAM que é ruim, mas no Ubuntu onde você usa mais memória de vídeo memória ruim é acessada.
Quando uma placa de vídeo trava, isso causa os sintomas que você relatou.
Vá até a loja e compre outra placa de vídeo e experimente-a. Se isso não resolver o problema, leve a placa de vídeo de volta à loja. Se isso resolver o problema, mantenha a placa de vídeo e a correção do problema.