there has to be some way to prevent the server from responding to SSL requests that do not have a valid SSL associated with them
Bem, tipo. Como você tem vários sites em execução no mesmo IP, um usuário que tente estabelecer uma conexão SSL com esse IP para qualquer um dos sites sempre estabelecerá sua conexão SSL (e possivelmente obterá um erro de certificado se estiver apontando para um nome de host que não é coberto pelo certificado).
Tudo o que você pode fazer para evitar isso é não ter SSL escutando esse IP (executando seu material SSL em endereços diferentes).
Se você está bem com eles recebendo uma conexão SSL com esse erro potencial, então você tem opções depois; em vez de obter o conteúdo do server
ativado para SSL, você poderia ter um padrão deles recebendo um erro 403 ou um redirecionamento para o ouvinte http para o nome do host para o qual enviaram a solicitação - uma dessas opções faria sentido para seu sistema?