Sua suposição está errada.
Os dados armazenados não são criptografados com sua frase secreta, mas com uma chave armazenada em um dos vários slots principais (normalmente oito). Sua frase secreta é usada apenas para criptografar / descriptografar essa chave. A chave então criptografa / descriptografa os dados no contêiner LUKS. Quando você altera essa senha, a chave é criptografada novamente com a nova senha.¹
Isso também significa que você pode ter até oito (ou qualquer que seja o número de slots) senhas diferentes para o mesmo contêiner LUKS, sendo todas válidas ao mesmo tempo. Dessa forma, você poderia dar a diferentes pessoas senhas diferentes e revogá-las uma a uma, se não for mais necessário. Todos os espaços chave salvam a mesma chave, mas são criptografados com senhas diferentes.
Advertência: Uma importante conclusão é que você deve não apenas lembrar sua frase-senha, mas também fazer um backup do cabeçalho LUKS. Caso contrário, se houver uma falha na área do cabeçalho LUKS, você não recuperará seus dados, mesmo se ainda souber sua frase secreta. (Mas você deve ter um backup de seus dados de qualquer maneira.)
Veja os detalhes do formato em disco do LUKS aqui .
¹ Bem, para estar correto: Se ainda houver um slot de chave livre, a chave recém-criptografada será salva e o slot antigo será excluído.