Volte ao básico - um bastão de memória RAM, um adaptador de vídeo, nada mais conectado e inicie a partir de algo que possa rodar o memtest - adicione componentes de volta (com tudo desligado) um de cada vez até que as coisas começar a se comportar mal - isso ajudará a isolar o problema.
Se mesmo o básico não funcionar, tente soquetes de placa de memória / adaptador diferentes e, em seguida, você deve considerar o teste por substituição.
Para verificar se o sistema operacional ou os drivers de dispositivo são o problema, tente inicializar a partir de um Live CD do Linux
Memtest: link
Live CD (com muitas coisas úteis): link