Finalmente encontrei a resposta para a minha pergunta. Aparentemente, cada arquivo csproj.user tem uma configuração:
<AlwaysStartWebServerOnDebug>True</AlwaysStartWebServerOnDebug>
Alterar isso do padrão true para false permite que você faça isso para que não faça essa configuração.