Geralmente é na raiz (a pasta mais alta do seu sistema de arquivos unix é chamada de root), e o arquivo principal do kernel geralmente é simbolicamente vinculado usando o nome /vmlinuz O z substitui o x e indica que está compactado.
Atualização: achei que seria possível extrair a imagem compactada de alguma forma, assim, mas isso não funciona:
gunzip /vmlinuz > /tmp/vmlinux