você instalou rvm no modo de sistema e, assim, rvm direciona todas as instalações gem para a pasta do sistema, onde são necessários privilégios administrativos.
Você precisa remover completamente o rvm e reinstalar o rvm no modo de usuário (não sei como, eu sei que é possível ler coisas) ou instalar o rbenv. Ambos colocarão seu ambiente ruby (e portanto também as gemas) em seu diretório home, onde os privilégios administrativos não são necessários.
Lembre-se que RVM e Rbenv NÃO BRINCAM BEM. nunca sob qualquer circunstância instale ambos. (Eu tive que limpar meu iMac uma vez após acidentalmente instalar os dois.)
O Homebrew é centrado no sistema, e você provavelmente não poderá instalar rvm / rbenv no modo de usuário com isso. Eu recomendo usar os guias gerais de instalação dos desenvolvedores.