Uma abordagem simples é ter um backup "pull" - um servidor de backup separado possui credenciais para efetuar login no servidor principal para obter os dados necessários para o backup, por exemplo, usando logging rsnapshot via SSH para o servidor principal.
Isso interrompe os ataques mais óbvios nos quais um hacker malicioso exclui arquivos no servidor principal e de backup - já vi pessoas que relataram isso em vários fóruns de segurança, portanto você está certo em se preocupar com um servidor da Web.
O backup pull ainda é vulnerável a um invasor que compromete o servidor principal (por exemplo, instalando um servidor SSH comprometido que, em seguida, explora um buraco no cliente SSH no servidor de backup), mas é um ataque muito mais determinado e hábil em um ataque direcionado. Ter uma cópia off-line de seus backups também irá resolver esse tipo de ataque.
Para obter mais detalhes, incluindo o uso de outras ferramentas para backups criptografados, consulte esta resposta .