A prática padrão é redirecionar as conexões HTTP para a porta HTTPS. Você não pode hospedar HTTP e HTTPS na mesma porta no mesmo servidor, sem muita configuração adicional, como afirmam Gerald e Steffen acima.
Por que você deseja evitar o redirecionamento para a porta correta? Está quebrando uma implementação específica que você precisa? É um cenário estranho em que os clientes ignoram a necessidade de SSL, mas precisam usá-lo e só podem acessar o servidor por meio de uma única porta. Não estou dizendo que tal cenário não exista, é claro.
Exemplo de redirecionamento SSL do Apache Virtualhost:
NameVirtualHost *:80
<VirtualHost *:80>
ServerName www.example.com
Redirect / https://secure.example.com/
</VirtualHost>
<VirtualHost _default_:443>
ServerName secure.example.com
DocumentRoot /usr/local/apache2/htdocs
SSLEngine On
# etc...
</VirtualHost>