Se você seguir sua descrição, o comando se torna "óbvio" (pelo menos, quando você o vê ...). Você realmente não estava muito longe com sua tentativa:
ssh user@remote tar czf - /my/directory/ > /my/local/destination/archive.tgz
(O " duplicado "link citado por Marco fornece uma solução mais limpa. Para criar este comando aqui eu simplesmente segui o estilo da sua tentativa.)