Parece que é uma questão de escapar dos personagens. Por exemplo,
:s/\$S(\R^2)\$/$\Sm$/
substituirá a primeira ocorrência de S(\N^2)
por \Sm
. \
está escapando de \
(assim como você faz \*
quando deseja representar o caracter *
). Sem isso, por exemplo, a string \r
significará retorno de carro. A razão pela qual você não tem que escapar do $
na segunda parte do :s
(não sabe o termo técnico para isso) é porque ele não tem nenhum significado especial para ele, enquanto isso significa o fim de linha na primeira parte.
Você precisa adicionar barras invertidas aos parênteses somente quando quiser capturar.