Não se esqueça de que os jogos em 3D são uma das coisas mais intensivas que você pode fazer em um PC - tanto para a CPU quanto para a placa gráfica, por isso não é surpresa que funcione para aplicativos "normais".
Já experimentou e aplicações 3D como o AutoCAD ou o 3D Studio MAX? Você pode fazer o download de versões de avaliação desses para poder encontrar um. Abra uma cena grande, renderize-a e veja se o seu PC trava.
Dado o que você disse que tentou, parece que está apontando para um problema com a CPU - está superaquecendo? Como está esfriando? Se for um fã, verifique se ele está conectado e girando livremente. Verifique também se há bom contato térmico entre a CPU e o dissipador de calor.
Outra coisa a tentar é transformar os gráficos do jogo em resolução mínima de tela, tamanho da textura, etc., e então rodar o jogo. Se isso funcionar bem, ative uma configuração de cada vez até o máximo (ou o valor recomendado) e veja onde ela começa a falhar. Se for o tamanho da textura, isso indicaria uma falha de memória (por exemplo).