O sistema não conseguirá resolver o grupo e, quando você listar os arquivos pertencentes ao grupo, verá apenas o seu ID numérico (antigo). Nesse sentido, é válido. No entanto, você não pode definir a propriedade desse grupo em nenhum arquivo.
Basicamente, seu sistema não irá travar e queimar horrivelmente, mas alguns arquivos podem ficar inacessíveis para alguns usuários até que você conserte a propriedade deles.