Você pode especificar que o apache só ouça em uma porta específica, para todos os sites ou apenas um VirtualHost. Veja a diretiva Ouvir .
Se você tiver um nome ou host virtual ip para esse site, basta configurá-lo para usar somente a porta 443. Também é uma boa ideia redirecionar todas as solicitações para seu site nas portas 80 a 443. Há alguns exemplos na Wikipedia sobre como implementar isso usando HTTP Strict Transport Security , com um exemplo de vhost para o Apache.