O pânico do kernel pode vir de várias razões, geralmente um problema de módulo (um driver que não cabe no seu hardware) ou um problema de hardware.
No seu caso, se o problema não for repetitivo, é mais provável que seja de origem de hardware. E pode ser a memória (a memória ruim nem sempre é fácil de identificar).
Gostaria de inicializar o servidor - e escolher durante a tela do grub (logo após inicializar) a opção "memtest86". O teste de memória precisa ser executado vários dias continuamente.
Se após 3 dias não houver erro, a memória é talvez ok.