Usando synaptic, você pode remover os pacotes Ruby (selecione a opção "remover completamente").
Eu acho que isso é o equivalente da linha de comando: sudo apt-get purge
Agora para as gemas: elas não são consideradas pacotes. Você precisará deletá-los manualmente (a menos que você queira usar Ruby para fazer isso, mas já que você diz que está quebrado ...)
Por padrão, as gemas do Ruby são instaladas na sua pasta pessoal, sob a pasta .gem.
Se você realmente quer limpar as coisas, apenas delete ~ / .gem, e isso deve ser suficiente.
Quando você reinstalar o Ruby e tudo mais, a pasta será criada novamente e você estará pronto.