Acabei de concluir a configuração de um apache2 e atualizei exatamente o que você pediu.
ports.conf
Listen 80
<IfModule ssl_module>
# Listen 443
Listen 8081
</IfModule>
<IfModule mod_gnutls.c>
# Listen 443
Listen 8081
</IfModule>
vhost.conf
<VirtualHost *:8081>
ServerName www.example.com
ServerAdmin webmaster@localhost
DocumentRoot /var/www/my-site
LogLevel info ssl:warn
SSLEngine On
SSLCertificateFile /your/cert.cert
SSLCertificateKeyFile /your/key.key
ErrorLog ${APACHE_LOG_DIR}/my-site.error.log
CustomLog ${APACHE_LOG_DIR}/my-site.access.log combined
</VirtualHost>
ps. Meu SSLEngine On
está escrito, mas funciona. Eu não acho que a questão deva ser pesquisada lá.