Eu tive que executar alguns comandos para fazê-lo funcionar.
sudo apt-get install ruby-dev
Então, enquanto olhava para a documentação, percebi que também tinha que instalar o selenium-webdriver
sudo gem install selenium-webdriver
Você também pode precisar executar o seguinte comando antes de instalar selenium-webdriver
sudo gem update --system