Resolvi sozinho instalando Ruby usando homebrew (brew install ruby). Parece que a versão RVM instala tem alguns problemas (eu experimentei a mesma coisa com várias gemas).
Eu tive que modificar manualmente os links simbólicos depois de instalar o Ruby com o homebrew, pois por padrão seu sistema ainda usaria o Ruby 1.8 que vem com o xcode.