A opção apropriada é -G , mas você não especifica os grupos que deseja remover, você especifica os grupos que deseja manter. Se user for membro de group1 e group2 , você poderá remover group2 executando
usermod -G group1 user
Isso atualizará user para que a única associação de grupo suplementar seja group1 .
Como mencionado em Como removo um usuário de um grupo? , você também pode usar gpasswd :
gpasswd -d user group2
removerá user de group2 .