O Windows Vista, o Windows 7 e o SQL Server 2008 têm um método de conexão diferente do XP e do SQL Server 2008.
Quando você se conecta a um servidor Windows 2008 que executa o SQL 2008 a partir do Vista ou do Windows 7, o Windows tenta negociar uma conexão usando a SSPI (Security Support Provider Interface). Ocasionalmente, você verá problemas conforme detalhado no link .
Meu melhor palpite é que haja um atraso na negociação dessa conexão. Como você pode ver no artigo da base de conhecimento, há maneiras de forçar a conexão a usar apenas a negociação padrão do NTLM.
Eu tentaria forçar o NTLM adicionando SSPI = NTLM à sua string de conexão. Se você não obtiver mais a redução inicial de velocidade, isso provavelmente aponta para o seu problema.