Você pode fazer o backup de um VPS da mesma maneira que faria com qualquer outro servidor.
No básico eu recomendo copiar seus arquivos importantes para outro servidor, ou um disco rígido externo. Isso pode ser feito com SCP, NFS, Rsync ou qualquer outra ferramenta. Se os arquivos no seu VPS estiverem mudando, pode ser uma boa ideia configurar o backup em um cron job.
Um exemplo de comando pode ser:
scp -a all/my/files/ [email protected]:~/backups/
Se você deseja uma solução mais robusta, deve procurar algumas soluções de backup corporativo, como a Crashplan ou qualquer uma de suas concorrentes.