Não, não há como executar o instalador do OS X sem reinicializar. Por motivos de segurança e qualidade, o instalador do OS X foi projetado para ser executado apenas quando inicializado a partir da imagem do OS X limpa, despojada e trancada em que está empacotada.
Se você pudesse executar o instalador do OS X a partir de qualquer versão do OS X que já tenha sido inicializada, modificada, possivelmente com malware ou hackers, você já teria inicializado em sua máquina, então seria bastante fácil ambiente de SO já inicializado para interferir no funcionamento adequado do processo de instalação, resultando em uma instalação com falha, danificada / corrompida ou comprometida.