/var/log/messages (ou /var/log/syslog em alguns sistemas) é o principal arquivo de log do sistema - procure lá. Dependendo das opções de configuração, ele pode conter as mesmas informações, mais ou menos, do que dmesg mostra. Além disso, é contínuo por padrão (anexado, não substituído em cada inicialização).
A necessidade de recompilar o kernel para resolver o problema depende do que você já pode encontrar lá e em outros registros específicos do aplicativo.
Kernel panic é um sintoma de um sério problema no sistema. Tão sério que o kernel não está equipado com meios para fazê-lo. Isso pode ser acionado por vários problemas de vários tipos: incluindo bugs de driver, falhas graves de hardware, bugs nos programas do sistema básico, raramente aplicativos de espaço do usuário.