Instalar um src.rpm é muito parecido com descompactar o código-fonte de um programa. Se você correr (como você):
rpm -vv -Uvh package.src.rpm
Você verá a fonte instalada em sua casa sob uma árvore rpm:
rpm/SOURCES
rpm/SPECS
Você encontrará um arquivo de especificação informando como o rpm é construído. Você encontrará um ou mais arquivos necessários para construir o RPM no diretório SOURCES.
Você também verá
rpm/BUILD
rpm/RPMS
rpm/RPMS/i386
rpm/RPMS/i686
...
O diretório BUILD é usado quando o rpm é reconstruído. O RPM final é gravado no subdiretório RPMS apropriado.
O interesse de instalar um src.rpm é modificá-lo e reconstruí-lo. Mas se a fonte que você precisa já contém um arquivo de especificação para construir o rpm, é melhor baixar a fonte e construir o rpm dela quando você quiser:
rpmbuild --rebuild -bb rpm.spec
Você pode encontrar mais informações sobre a reconstrução de srpms aqui: Como descompactar e reconstruir pacotes RPM no Fedora?