A solução é a seguinte:
Você precisa adicionar
Comment Added Contains Regular Expression
Agora funciona bem.
De acordo com este site: link e seção Configuração do acionador com subseção Comentário adicionado Estou um pouco confuso, porque parece que o gatilho após o comentário adicionado não funciona. Tentei adicionar na configuração como strings de comentário e ints, mas sem nenhum resultado - a verificação não foi acionada. Alguém tem idéia de como configurá-lo corretamente para ter situação quando eu adiciono comentário em particular em gerrit eu recebo recheck?