Você literalmente não pode fazer o que está perguntando enquanto mantém os dois domínios no mesmo endereço IP.
Como é agora, você tem os dois domínios (domaina.com e domainb.com) no mesmo endereço IP. Então você abriu a porta 80 para HTTP e a porta 443 para HTTPS. Como você percebeu, a porta está aberta para todos os domínios no servidor; não pode ser fechado por apenas um domínio enquanto permanece aberto para qualquer outro.
Se você não quiser que o SSL seja aberto para domainb.com, você precisará colocar domainb.com em um endereço IP separado.