Quando você usa a opção -R para chmod , está dizendo que deseja aplicar a alteração de permissões em questão aos arquivos e à pasta de forma recursiva.
Não é possível dizer a chmod para aplicar essas configurações apenas a uma ou outra, portanto, você só precisa recorrer à ajuda de uma ferramenta como find para construir a lista de diretórios e então exec o comando chmod seletivamente contra essa lista.
Você pode tornar isso mais eficiente chamando chmod via exec chamando-o assim, usando a variante + do comando exec :
$ find /path/to/folder -type d -exec chmod g+s {} +