Normalmente, a versão padrão do Ruby no Ubuntu 14.04 seria 1.9.1. Eu não sei o que há de errado com o seu sistema a esse respeito.
Se você deseja segmentar uma versão específica do Ruby, basta usar o nome totalmente qualificado:
gem1.9.1 install mysql
Da mesma forma, você pode usar ruby1.9.1
para solicitar explicitamente o intérprete do Ruby 1.9.1.