Parece que o arquivo de chave que você está tentando usar tem pelo menos 8 KiB, o que excede o tamanho máximo padrão de cryptsetup . Você pode usar a opção --new-keyfile-size <size_in_bytes> para forçar o cryptsetup a usar a chave, mas eu recomendo usar uma chave aleatória com um tamanho menor, porque uma chave maior que a chave mestra do volume LUKS não oferece segurança adicional sobre um tecla que tem o mesmo tamanho da chave mestra (desde que o material da chave seja realmente aleatório).
O tamanho máximo da chave mestra para o LUKS é de 512 bits, mas também pode ser de 256 bits. Você pode verificar o tamanho da sua chave mestra encontrando o tamanho de "MK bits" em sudo cryptsetup luksDump /dev/<device> .
Sugiro gerar chaves de /dev/random . Por exemplo, para gerar uma chave aleatória de 512 bits (64 bytes):
head -c 64 /dev/random > luks_key