Sim, você precisará editar o arquivo host do Windows para cada novo projeto. O arquivo do host do Windows não permite subdomínios de caractere curinga. Se for muito importante para você, você pode executar seu próprio servidor DNS e configurar o TCP / IP para usar 127.0.0.1 para DNS.
Você pode usar mod_vhost_alias para configurar o host virtual no Apache dinamicamente. Algo como ...
<VirtualHost 127.0.0.1:80>
ServerAlias *.localhost
UseCanonicalName Off
VirtualDocumentRoot C:/xampp/htdocs/%1
</VirtualHost>