Para iniciar o player diretamente com um oneliner, faça, por exemplo:
ssh user@host 'cvlc music/Ratatat/LP4' # VLC opens whole directories
ssh user@host 'play music/Ratatat/LP4/*' # SoX don't
Se você estiver em uma sessão ssh
e quiser que um processo permaneça em execução após você exit
ed, poderá usar disown
para desconectar o processo do shell que o executa:
$ ssh user@host
$ cvlc music/Nick_McKaig & disown
$ exit
Essa é a maneira mais fácil, mas você não pode retornar à sessão, pois é possível com screen
(veja Max ' answer ) ou tmux
.