Você poderia tentar algo assim:
usermod -G "" username
Isso deve removê-los do grupo extra. Isso parece funcionar no SOL10 / OSOL / Linux. Vale a pena notar que os removerá de TODOS os grupos extras. Se você quiser apenas removê-los de um deles, é só pegar sua lista atual de grupos: id username
Em seguida, basta criar a lista de grupos extras para adicionar com usermod -G
e não adicionar o que você deseja remover.