Eu estava tendo o mesmo problema. Eu desliguei os drivers proprietários que eu estava usando e os pânicos pareciam ter parado. Especificamente, acho que foi um driver da Broadcom que estava causando meu problema.
Para obter uma resposta completa, você precisará de mais detalhes. Qual kernel você está executando? Qual é a mensagem de erro completa? Você tem alguma placa pci instalada?