Depende de como o servidor será usado.
Alguns instaladores de aplicativos assumem a presença do Site Padrão e DefaultAppPool, e esses instaladores não funcionarão corretamente se você tiver excluído o site.
Alguns podem nem funcionar corretamente se você recriar o site mais tarde antes de executar o instalador (a menos que você o recrie com o ID 1 - isso era mais difícil no IIS 6 do que no 7).
Se o servidor for usado para hospedar muitos sites e for improvável que você execute um instalador que exija o uso do Site padrão (o Exchange e o SharePoint em versões anteriores costumavam fazer isso), a opção mais segura provavelmente ainda é Parar ou desativá-lo, em vez de removê-lo imediatamente.
A partir do IIS 7, qualquer novo site criado por meio da GUI usa como padrão o Pool de Aplicativos, portanto, qualquer aplicativo executado nesse site será executado nesse Pool de Aplicativos e não no DefaultAppPool.
O DefaultAppPool é geralmente uma consideração secundária e não será usado, exceto por aplicativos que o nomeiam explicitamente ou dependem de sua presença.