rm -rf /config/filegroups/*
Se você quiser excluir somente diretórios (e links simbólicos para diretórios), deixando todos os arquivos em /config/filegroups intocados, você pode usar uma barra à direita:
rm -rf /config/filegroups/*/
Se você quiser excluir diretórios cujos nomes começam com . , supondo que você tenha um bash razoavelmente recente, você deve usar a opção shell do dotglob:
shopt -s dotglob
rm -rf /config/filegroups/*/
shopt -u dotglob