Aqui está o comando que eu usei:
PowerShell -Command "get-process | ? {$_.WorkingSet64 -gt 10000000000 -AND ($_.name -like 'java' -OR $_.name -like 'iexplore')} | foreach {kill -id $_.Id -force}"
Ele usa o powershell para matar todos os processos chamados java ou iexplore se eles excederem 1GB de uso de RAM.