Estou curioso para saber qual é o programa que está causando o vazamento de memória. Talvez seja melhor reiniciar esses serviços específicos do que a máquina inteira. Eu tive esse mesmo problema com um servidor BES antigo e acabamos criando um script para reiniciar os serviços BlackBerry e SQL todas as noites fora do horário comercial, o que funcionou muito bem.
Se você insistir em reiniciar a máquina inteira, no entanto ...
Faça um script em lote simples e execute-o através do planejador, assegure-se de que esteja configurado para executar mesmo que ninguém esteja logado:
shutdown -r -f
Para monitoramento de código aberto, ele não fica muito melhor do que Nagios .