No fedora, você pode descobrir qual pacote fornece um determinado comando usando o seguinte:
rpm -qf 'which javac'
Ou alternativamente com o yum:
yum provides 'which javac'
Editar : aparentemente java-devel
é o pacote que você precisa. (Obtive isso de uma pesquisa no Google)
Edit2: O pacote correto é yum install java-$VERSION-openjdk-devel