Faça o download da versão zip: link
cd /tmp
wget http://apache.claz.org/lucene/solr/4.2.1/solr-4.2.1.zip
Em seguida, descompacte o pacote:
unzip solr-4.2.1.zip
Mova o diretório recém-criado para / opt
sudo mv solr-4.2.1 /opt/
Em seguida, insira o diretório recém-criado
cd /opt/solr-4.2.1/example/
Lá você encontrará um arquivo start.jar, inicie-o:
java -jar start.jar
Siga este tutorial: