Primeiro, a maneira de endereçar uma instância específica do servidor SQL é: SERVERNAME \ INSTANCENAME
Portanto, o primeiro passo é verificar se você pode resolver o SERVERNAME (usar ping ou alterá-lo para um endereço IP).
O segundo passo é verificar se a instância específica existe. Normalmente, a primeira instância do servidor MSSQL está usando o nome de instância padrão (. Ou MSSQLSERVER). Se for esse o caso, você pode omitir o nome da instância na sua string de conexão e manter apenas o nome do servidor.
Para verificar o nome da sua instância, abra o gerenciador de serviços no servidor e encontre o serviço "SQL Server (xxx)". O "xxx" será o nome da instância.
Depois de fazer isso e garantir que você esteja usando o endereço SQL correto, valide a conexão. Verifique se ambas as máquinas estão na mesma sub-rede. Se não estiverem, certifique-se de que o firewall não esteja configurado para permitir apenas a conexão da sub-rede local (típica no perfil de rede "inicial").
Em seguida, se as duas máquinas estiverem na mesma rede Wi-Fi, verifique se o seu AP não está configurado para isolamento do cliente. Se for esse o caso, você não poderá se comunicar entre dois dispositivos WIFI conectados ao mesmo AP.
Por fim, verifique se você tem um login que funcione. A maneira mais simples de fazer isso é criar um login explícito no servidor SQL, fornecer todos os direitos necessários em seu banco de dados e servidor e testá-lo localmente, passando as credenciais na cadeia de comando. Se funcionar, tente da máquina remota