A parte SERVER do SERVER / INSTANCE pode ser qualquer nome que resolva para o endereço correto, um registro A extra ou um CNAME ou um nome de um arquivo HOSTS.
A única precaução aqui é que o nome falso pode quebrar a autenticação Kerberos. SQL com Kerberos é uma besta engraçada, o SQL Client faz uma pesquisa inversa de DNS no endereço e, em seguida, usa o nome que obtém para criar o SPN para que ele funcione, desde que a pesquisa inversa obtenha o nome do host original do servidor. Além disso, o SQL voltará ao NTLM, portanto, isso causará um problema se você precisar do Kerberos por algum motivo, como se estivesse usando delegação.
Você não pode fazer o SQL responder a mais de um nome INSTANCE. Você pode, no entanto, definir um alias na configuração CLIENT.
Quando você se conecta ao SQL Server, o nome da instância especificado é enviado ao serviço Navegador SQL no servidor, o serviço do navegador responde com a porta TCP na qual a instância solicitada está escutando. É possível especificar esse número de porta na cadeia de conexão ou em um alias. Acabei de criar um alias chamado NEW que aponta para a porta mysqlserver 1966 que tem uma instância nomeada ouvindo nela. Em seguida, consegui conectar-me à instância nomeada simplesmente especificando um nome de servidor NEW.
Existem duas desvantagens desse método. Primeiro é que a configuração é necessária em cada cliente, não sei se existe alguma maneira de empurrar essa configuração. A segunda é que uma instância do SQL normalmente usa uma porta dinâmica. Se você quiser definir aliases, precisará alterar o servidor para que ele escute em um número de porta fixo para que os clientes possam ser configurados para se conectar.