Redhat is investing a lot on their OS. [...] Is there nothing that they can do to make things a little bit more "closed source"? "
Não sei por que você diz isso (como se ser fechado seria uma coisa boa). A RH desenvolve mais FOSS do que qualquer outra empresa de distro, mas está longe de ser a única e há um grande envolvimento da comunidade como um todo. Então, sim, RH "perde" o trabalho deles, mas eles também ganham o trabalho que outros contribuem sob o mesmo conjunto de restrições.
CentOS is considered to be binary compatible with RHEL
Mais ou menos, sim. Eu nunca vi algo projetado para o RHEL falhar no CentOS. Você normalmente compra assinaturas do RHEL pelo suporte e porque as atualizações são enviadas para o RHEL muito mais cedo do que são para o CentOS.
Is it possible by using different compile options to produce an entirely different OS?
Há muita variação possível nas decisões em tempo de compilação, mas não acho que o "molho secreto" de RH seja tão mágico. Uma grande parte do que realmente diferencia distros é essa coisa exata (junto com alguns coisas de seleção de pacotes e gerenciamento de liberação de pacotes).