Esse é o comportamento esperado.
Você está usando vhosts em um único endereço IP em que você ouve HTTP e HTTPs. Portanto, o servidor que manipula o SSL está agindo como o padrão para tudo que vai para essa porta 443.
Você não poderá recusar o handshake SSL, mas depois que ele for concluído, você poderá proibir outras solicitações HTTP que não estejam segmentando um domínio específico, adicionando um bloco de servidor catch-all separado, retornando o código especial n54x.
A solução genérica é ter um único IP para o domínio que deve suportar HTTP e HTTPS e tratar todos os outros HTTP vhost em outro IP.