[original] O nome DNS que você está usando para se conectar ao servidor pode não estar resolvendo para o IP que hospeda a instância. Você pode verificar isso usando nslookup para resolver o nome e verificar se isso resolve o endereço IP da instância que você configurou no servidor SQL.
Além disso, tas @mrdenny mencionou, pode haver um firewall baseado em rede no caminho, ou um host baseado [/ original]
Edit1: viu o bit sobre o ping pelo nome ... O nome que você está ping realmente resolveu para o servidor que hospeda a instância do SQL?
Edit2: A instância nomeada que você criou pode ser configurada para usar uma porta TCP exclusiva diferente para o ouvinte. Seu ouvinte baseado em IP pode estar na porta padrão, mas a instância nomeada pode estar ouvindo na próxima porta ou em alguma outra porta definida arbitrariamente.
Além disso, no SQL Configuration Manager, verifique se o serviço de instância nomeada está em execução ...