A libcaca será exibida no seu terminal atual se $DISPLAY
não estiver definido. Então você pode fazer algo como:
DISPLAY= mpv --quiet -vo caca 'https://www.youtube.com/watch?v=bvYgBty6nJs'
O mesmo truque funciona com o mplayer, embora não (AFAIK) tenha suporte integrado à libquvi, então você tem que extrair a URL do vídeo para passá-lo.