Se você não tiver instalado,
$ sudo passenger-install-apache2-module
Você precisa executar isso para que o apache mod_passenger.so possa ser compilado após a instalação da gem (gem install passenger)
E observe a saída apresentada pelo instalador. Ele irá mostrar onde estão os arquivos. Na verdade, mostra exatamente como a configuração deve ser.