Nota: para uma resposta mais específica, você deve postar a mensagem de erro. Você acabou de mencionar
In this specific example I was able to fix the build error by changing the sources in the given directory.
Sem especificar qual foi o erro e como você o corrigiu temporariamente.
Verifique o log de erros. A compilação da extensão gem pode falhar devido a algumas incompatibilidades.
Se a gem já estiver instalada em seu ambiente, o bundler não tentará reinstalá-la. No entanto, eu vi você usar o RMV, portanto, o problema acontecerá novamente se você alterar a versão do gemset ou do Ruby.
O melhor que você pode fazer é inspecionar o erro. Se você acha que o erro é um bug, envie um relatório para o arquivo e forneça as etapas seguidas para corrigi-lo.
Se o erro depender do seu ambiente, você precisará corrigi-lo ou o problema será representado novamente conforme explicado.