Como você pode se conectar à instância padrão, assumiremos que sua rede e DNS (ou alguma outra forma de resolução de nomes está funcionando).
Embora você tenha feito a instância nomeada 2008 usar uma porta estática, o serviço Navegador SQL ainda será usado para estabelecer a porta a partir do nome fornecido.
Se nenhuma resposta for recebida do serviço do navegador, o cliente SQL tentará a porta 1433. Estou assumindo que, como você pode se conectar à instância padrão, mas não à instância nomeada, o problema é provavelmente com essa etapa.
Você já disse que o serviço de navegador está em execução, de modo que sai.
1) Verifique se a postagem UDP 1434 (ou o serviço de navegador sql) é permitida pelo firewall do servidor.
2) Verifique se a porta 1434 do UPD é permitida através do firewall do seu PC. (Eu nunca achei isso como um problema do XP, mas encontrei um problema no Windows 7 Pro)
Eu sugeriria que o primeiro passo seria desligar o firewall do PC do qual você está se conectando.