No topo da minha cabeça, eu diria adicionar slave à mixagem e fazer backups no escravo sem remover o nó do cluster.
O que acontece é que quando você coloca o nó de volta, ele não sabe como os números da chave primária avançaram nos nós ativos antes de conseguir uma nova gravação, porque ela não estará se resfriando até alcançar outras duas réplicas. Portanto, ele grava um novo registro e fornece um ID de chave primária que já existe em duas réplicas que não foram eliminadas. Em essência, o nó não deve receber gravações até que esteja sincronizado.