O kernel do Linux nunca armazena nada em um disco em seu próprio nome. Ele armazena os arquivos que os aplicativos ordenam que ele armazene através da interface do sistema de arquivos, ou dados em dispositivos de bloco acessados diretamente ou metadados de sistemas de arquivos montados e volumes de disco.
Além disso, não faria sentido armazenar a chave de criptografia na mesma mídia.
A chave de criptografia é armazenada somente na RAM. É inserido antes de montar o sistema de arquivos criptografado. A chave é tipicamente derivada de uma senha digitada pelo usuário, mas também pode ser carregada de, e. um smartcard. A documentação do kernel tem os detalhes.
É possível armazenar a chave de criptografia de um volume em um arquivo fora desse volume e carregá-lo. Pode fazer sentido ter uma chave em uma unidade removível que é inserida fisicamente no momento da inicialização, por exemplo. Mas o kernel não fará isso sozinho, cabe aos scripts de inicialização do sistema fazer isso.