Você não está perdendo permissão, você está dando apt-get privilégio demais; solte o sudo :
apt-get download $(apt-rdepends ffmpeg|grep -v "^ ")
apt-get download é executado como um usuário normal.
(Tecnicamente, você pode conceder o acesso de usuário _apt ao diretório de destino, mas é mais simples e melhor descartar sudo .)