A razão para isso é que a conexão com a porta 443 é tratada em duas etapas. O primeiro é a negociação SSL. Para que isso funcione, o cliente precisa falar SSL válido. O segundo passo é o HTTP real. Apenas o segundo passo é registrado no log de acesso.
Desde que, quando você está telnet, você não está fazendo uma negociação SSL bem-sucedida, você nunca chega à segunda etapa.
Se você quiser apenas verificar se o log funciona como projetado, você deve usar openssl s_client -connect your.server.name:443
em vez de telnet. Isso abrirá uma sessão SSL no seu servidor.
Se você quiser registrar até conexões interrompidas, você pode adicionar
<IfModule mod_ssl.c>
ErrorLog /var/log/apache2/ssl_engine.log
LogLevel debug
</IfModule>
para o host virtual SSL. Isso se tornará um log enorme se você tiver muito tráfego SSL; Eu vi discos ficando cheios dentro de horas depois de definir isso.