Existem algumas coisas para verificar. Em primeiro lugar, verifique se o site está em execução no IIS e, se você instalou no 64Bit Server, verifique se o pool de aplicativos não está habilitando os aplicativos de 32 bits para serem executados na instância de 64 bits. Verifique também se você não mapeou explicitamente o site do TFS para um endereço IP, pois isso pode confundir completamente o TFS.
O fato de você ter desinstalado e reinstalado, e ocorrer novamente, aponta para um problema com a configuração do IIS. Se esta for uma atualização, você removeu tudo antes de instalar o RC?
Com base na sua edição, sugiro que você exclua o site na Porta 8080 antes de reinstalá-lo e verifique se todos os rastros dele desapareceram, a menos que você precise. Também certifique-se de remover e desinstalar o WSS ou o SharePoint, dependendo de qual você tenha instalado.
Mais uma vez, qual usuário é o pool de aplicativos configurado para ser executado como. Isso poderia ser um problema de segurança e acesso, possivelmente durante a instalação. Veja também se você pode recuperar o log de instalação e se ele revela qualquer falha de segurança que o TFS silenciosamente ignora.
Eu finalmente tive a chance de instalar o TFS 2010 RC na minha máquina com Windows 7. Pelo que vejo, as configurações descritas acima estão corretas até o fim. Minha instalação funcionou fora da caixa. Eu só posso imaginar o seu erro devido à configuração do IIS nessa máquina em particular. Minha única sugestão que posso fazer neste momento é instalar o TFS 2010 RC em outra máquina sem outros sites, mesmo que para fins de teste em uma máquina virtual. Se funcionar, compare a configuração entre a VM e o servidor do seu teste. Verifique também se todas as atualizações exigidas pelo TFS 2010 foram carregadas e, se necessário, remova e reinstale o .Net Framework 4.0.
Além disso, crie um novo site e adicione-o a um pool de aplicativos. Alterne o pool para usar um pool do Framewor 4.0 e teste se ele funciona. Se isso não acontecer, o problema pode estar na estrutura, se isso acontecer, você eliminou um problema com o IIS.