Este é um comportamento específico do shell. O sistema para o qual você está efetuando login com o ssh fornece zsh como seu shell padrão, enquanto no Ubuntu, o shell padrão é bash . Tente! Abra um terminal e digite zsh . Na primeira vez que você executá-lo, ele solicitará uma opção de configuração. Então, pronto, você tem o seu comportamento desejado.
Para tornar permanentemente seu shell de login, abra um terminal e digite
chsh -s /bin/zsh
Na próxima vez que você fizer login, o zsh será seu shell padrão.