Parece que groupadd é o comando correto: RHEL5 admin . addgroup é um commnad específico do debian.
Você está logado como root? groupadd está em /usr/sbin , que, por padrão, não está no caminho. execute echo $PATH e veja se /usr/sbin está lá. Não que executar como não-raiz seja muito útil: você precisa de acesso root para adicionar um grupo.