Sim, isso é necessário, como mencionado por @Hex em seu comentário.
No entanto, você pode usar um atalho e usar a diretiva Include
para não tem a configuração comum redundante, assim:
<VirtualHost _default_:80>
...
include conf/common_rule.conf
</VirtualHost>
<VirtualHost _default_:443>
... #SSL rules
include conf/common_rule.conf
</VirtualHost>
Roubado da pergunta muito semelhante " Eu tenho que duplicar as diretivas Virtualhost para as portas 80 e 443? ".