Sempre que você fizer login via SSH, sua localidade (aquela da máquina à qual você está se conectando) será enviada ao servidor. Eu suponho, você tem de_DE.UTF-8 definido localmente. Sempre que você executar o snippet de código do Hetzner enquanto estiver logado na máquina, você temporariamente muda para um LC diferente e tudo funciona (por um tempo).
Primeiro, procure em /etc/default/locale . Você deve encontrar um LANG="en_US.UTF-8" lá (se não, adicione).
Eu recomendaria instalar o seu código de idioma no servidor. Tente escolher qualquer de_DE.* no diálogo dpkg-reconfigure locales .
Ou você pode adicionar os comandos export (não os outros comandos!) ao seu ~/.bashrc no servidor, para que eles sejam configurados automaticamente sempre que você fizer login.
Ou você pode desabilitar a aceitação de LC_* e LANG variáveis em seu servidor SSH (e seu servidor deve retornar ao seu padrão). Portanto, remova-os - ou remova o comentário do todo - AcceptEnv in /etc/ssh/sshd_config .