Não tenho conhecimento de nenhum software que faça isso. No entanto, se o que poderia fazer é ter uma tarefa cron no servidor, que tira um instantâneo da VM (para que você possa acessar a VMKD) e, em seguida, rsync o arquivo fora do servidor. Como o busybox (o núcleo do ESXi) não tem rsync, você teria que fazer isso de outra máquina, mas ele deve funcionar bem, desde que você tenha habilitado o SSH.
A outra opção que você tem é se o sistema de arquivos que você usa para armazenar as VMs suportar instantâneos (como o ZFS), você pode fazer os backups de lá.
O BackupExec tem um agente VMware - você já viu isso?