Eu tive o mesmo problema hoje. Parece um problema de certificado com o servidor de phusion. Não tenho certeza.
Eu usei este guia e, após essa mensagem de erro, continuei com a instalação.
No final, acabei de digitar o seguinte comando:
gem install passenger
e funcionou.