Note que não há artigo no MSDN para renomear instâncias. Isso pode ser o mais próximo: Como renomear um computador que hospeda uma instância independente do SQL Server .
Francamente, eu reinstalaria se você quiser arriscar o nome da instância
sp_renamedb (reprovado, use ALTER DATABASE ) mudará apenas o nome em sys.databases. Você terá desanexar, renomear arquivos, reconectar . Ou backup / restore COM MOVE