Eu finalmente encontrei a resposta: D
youtube-dl -o - address | tee filename.mp4 | mpv --cache -
Isso permite tratar a parte baixada como um arquivo local (buscar, avançar, etc.). Você precisa instalar o mpv e o youtube-dl (ambos instaláveis pelo Homebrew).