O problema reside na criação do usuário no lado do servidor. O usuário foi criado usando o terminal e nenhum parâmetro foi usado na criação.
Assim, o novo usuário usa o shell "sh" do POSIX, que não é suportado pelo Ruby Version Manager. Mudar o shell para bash resolve o problema.
Você pode fazer isso para um usuário já criado que esteja executando isso (se você estiver logado como o usuário para o qual deseja mudar o shell):
sudo chsh -s $( which bash ) $USER
Ou você pode rodar isso e mudar o bash para qualquer usuário:
usermod -s /bin/bash user
** Obrigado mpapis, desenvolvedor do RVM, pela depuração:)