O BTRFS suporta múltiplos dispositivos, então o que você pode fazer é usar btrfs fi show
para obter a lista de dispositivos de bloco. Em seguida, use cryptsetup status
para verificar se um determinado dispositivo é um contêiner LUKS. Se for o comando, será emitido o dispositivo de sublinhado.
Eu não chamaria isso de amigável para scripts, pois você terá que analisar a saída, mas isso deve funcionar.