O Rename-SPServer precisa ser executado ANTES de o nome do servidor ser alterado. Parece que é uma boa idéia usar o comando stsadm -o renameserver, mesmo que a Microsoft recomende o uso do comando powershell.
Veja o seguinte artigo: link
Acabei de usar o comando stsadm com êxito ao renomear um servidor autônomo, mas executei-o antes de renomear o servidor. Eu acho que isso geralmente é uma boa ideia.
Se tudo falhar, você provavelmente poderá executar o Assistente de Configuração de Produtos do SharePoint 2010 e, por meio do backup da Administração Central, restaurar seus conjuntos de sites.