Parece que isso é realmente um problema. Após googling um pouco eu encontrei Não é possível conectar para o TFS Existente com o feedback do VS 2011 Beta no Microsoft Connect:
When opening an existing 2010 solution , project cannot connect to existing TFS server (Non 2011 TFS Beta installation). In VS 2011 when trying to add a connection manually to the TFS server it results in error TF31002. Verified that the connection setting is valid as VS 2010 is using it with no issue.
A resposta da Microsoft estava no estilo deles:
We do not support Dev11 clients communicating with TFS 2005 server.
e o assinalado agora é fechado como por design .
Obrigado Microsoft por sempre cuidar de nós.