Como você está mixando uma instalação em Ruby que não vem do apt-get com um pacote do apt-get, os problemas aparecerão, como você reportou.
Você pode evitar isso instalando o Passenger gem gem install passenger
e continuando a instalação do módulo apache seguindo as instruções do Passageiro: