Para adicionar um usuário específico a um grupo específico, use:
sudo usermod -a -G groupname username
Aqui a
é muito importante porque senão o usuário será removido de todos os outros grupos
Seu problema é provavelmente porque você perdeu a parte -a
em seu comando