Eu enfrentei um problema semelhante e descobri que o script pagerduty cria um arquivo temporário para o acionador e, se esse arquivo for modificado há menos de 4 horas, ele não é acionado novamente.
Pode ser que, quando você executou a partir do console, você já tenha criado um arquivo temporário. Você pode verificar isso excluindo o arquivo temporário antes que o comando monit ative um alerta.
A outra opção é usar um tipo de evento único diferente para testá-lo.