Você pode converter para formatos somente de áudio usando o próprio youtube-dl, embora ainda baixe o vídeo e depois o converta.
Para fazer isso, use -x
ou --extract-audio
no comando, por exemplo:
youtube-dl -x 'http://www.youtube.com/watch?v=0iyeUcFKRv4&feature=c4-overview&list=UU1KPy3cAAj0i0RIFC_SzjMg'