O kernel não adia para o espaço do usuário e menos ainda para executar ferramentas de espaço do usuário, a fim de descriptografar dados em dispositivos de bloco.
Se você quiser seu próprio mecanismo de criptografia, precisará implementá-lo no kernel e implementar o suporte em cryptsetup e Co para usá-lo.
Alternativamente, você poderia fazer uma implementação de fusível, no entanto, eu não recomendaria nada disso para diversão / experimentação.