Parece que é uma questão de escapar dos personagens. Por exemplo,
:s/\$S(\R^2)\$/$\Sm$/
substituirá a primeira ocorrência de S(\N^2) por \Sm . \ está escapando de \ (assim como você faz \* quando deseja representar o caracter * ). Sem isso, por exemplo, a string \r significará retorno de carro. A razão pela qual você não tem que escapar do $ na segunda parte do :s (não sabe o termo técnico para isso) é porque ele não tem nenhum significado especial para ele, enquanto isso significa o fim de linha na primeira parte.
Você precisa adicionar barras invertidas aos parênteses somente quando quiser capturar.