Eu estava instalando o RVM em um servidor remoto hoje e tive o mesmo problema. Parece que a instalação não foi executada por padrão. Foi o que fiz para resolvê-lo:
curl -L https://get.rvm.io | bash -s stable
# In case rvm not found
cd ~/.rvm/archives
tar xvzf rvm-1.26.0.tgz # or whatever RVM version you have
cd mpapis-rvm-xxxxxxx
./install
cd ..
rm -Rf mpapis-rvm-xxxxxxxx
source ~/.rvm/scripts/rvm
echo "source ~/.rvm/scripts/rvm" >> ~/.bashrc
- resposta original em stackoverflow