Você configurou o dm-crypt para usar o arquivo de chaves?
# cryptsetup luksAddKey /dev/sda2 /etc/mykeyfile
Depois de ter feito isso (e testado manualmente), você precisa ter a unidade removível reconhecida na inicialização:
Peço desculpas por apenas fornecer links, mas a alternativa é copiar a página da wiki na íntegra.