Infelizmente, é muito difícil; O rpm não foi projetado para retroceder. Se você quiser tentar, acho que isso deve ser feito:
sudo dnf --releasever=23 --allowerasing downgrade fedora-release
sudo dnf distro-sync
Observe que isso é perigoso - a opção --allowerasing definitivamente permite que você atire no próprio pé, e fazer uma sincronização de distribuição grande simplesmente não funcionaria.
Eu poderia considerar apenas ficar no Rawhide através do ciclo do Fedora 23. Nós (disclaimer - Eu trabalho no Fedora!) Ocasionalmente causo alguns problemas lá, mas se você segue blogs como This de Kevin Fenzi Week in Rawhide geralmente você pode estar ciente de quando é provável que aconteçam e tenha cuidado com as atualizações.