O truque é dizer ao monit para 'desmonitorar' o alvo enquanto ele estiver inativo. O binário monit usa o servidor HTTP interno para essas ações. Observe que o httpd não é ativado até que o (eventual) "atraso" tenha passado.
Em monitrc:
set httpd port 2812 and use the address localhost
allow localhost
Você pode verificar o status do seu cheque:
monit status <check_name>
Desmonte com:
monit unmonitor <check_name>
Monitore novamente com:
monit monitor <check_name>