Até onde eu sei, o YouTube armazena internamente vídeos em formato MP4 com áudio AAC (sufixo .m4a). Se você solicitar um arquivo .wav, o youtube-dl simplesmente chamará o ffmpeg para converter a faixa de áudio de m4a para wav. Como o wav é um formato sem perdas, ambos os arquivos têm exatamente a mesma qualidade, mas o wav é muito maior que o m4a.
Sugiro usar algum comando como o seguinte:
youtube-dl -ci -f "bestaudio[ext=m4a]" https://www.youtube.com/watch?v=tDOffPd81YI
Sugiro também verificar a lista de formatos disponíveis com a opção -F
(letra maiúscula F):
youtube-dl -F https://www.youtube.com/watch?v=tDOffPd81YI