A diretiva ssl habilita o SSL para todo o vhost e não examina o número da porta. Se você quiser restringir o SSL a uma única porta, substitua:
listen 80;
listen 443;
ssl on;
por:
listen 80;
listen 443 ssl;
Veja o link