Assim como com python (e Java), se você usar a instalação padrão em um sistema Debian, você terá problemas enormes. Cada idioma parece querer fazer um grande negócio em ter um sistema automatizado para instalação, em vez de trabalhar com sistemas existentes.
A solução real é instalar ruby e rubygems via apt e se os pacotes não existirem então você cria os pacotes e hospeda-os em um ppa para outros instalarem.