Você pode fazer isso com monit . Por exemplo, para alertar & reinicie o mysql, supondo que você execute o monit em um ciclo de 60 segundos:
check process mysqld
with pidfile /var/run/mysqld.pid
if cpu usage > 99% for 10 cycles then alert
if cpu usage > 99% for 10 cycles then restart
O monit é muito flexível e pode fazer praticamente qualquer tipo de monitoramento de processos, memória, etc. que você possa imaginar.
Isso provavelmente poderia ser feito com o ps-watcher também, mas é difícil fazer com que o ps-watcher se lembre desse tipo de estado e agir sobre isso. monit é a ferramenta certa para usar.