O codificador FLAC do FFmpeg suporta amostras com profundidades de bits de 16 e 24 bits, sendo o último preenchido com 32 bits. Então, para 24 bits, você terá que usar um filtro intermediário.
ffmpeg -i in.wav -af aformat=s32:176000 out.flac
O código acima codifica para uma amostra de 24 bits de 176 kHz, armazenada como 32 bits. E o comando abaixo codifica para 16 bits e 44,1 kHz.
ffmpeg -i in.wav -af aformat=s16:44100 out.flac