Basta instalar a versão das gemas necessárias fora do apt. Isso também é melhor , porque estará em /usr/local/bin (coisa que você instalou) em vez de /usr/bin , que deveria ser para a distribuição (coisas construídas no repositório que você está baixando de). Neste caso, a distribuição está obviamente tentando rejeitar sua versão de gemas.
Além disso, as coisas instaladas com a sua versão do Ruby Gems provavelmente estarão em um diretório diferente, mais acima no include-path como /usr/local/share em vez de /usr/lib . Isso significa que, quando você instala as coisas com /usr/local/bin/gem , ele acessa um local especial que não interfere nas coisas que /usr/bin/gem instala.