Resposta curta: você não pode.
Quando você anexa o depurador a um executável, o VS2008 insistirá em gerar um arquivo "solução", mesmo que você clique no botão "Não" do botão Salvar solução. Isso pode ser muito irritante, ter que excluir esses arquivos armazenados no diretório do executável.
No entanto, se você depurar o mesmo executável mais de uma vez, isso pode ser bastante útil para salvar as configurações de depuração, como pontos de interrupção, nas sessões de depuração.