Se o servidor tiver que fazer login em seu servidor inicial, você poderá restringir o acesso SSH via chroot . Para o seu usecase, no entanto, eu iria o contrário: deixe o seu servidor doméstico buscar o backup do servidor, para que o servidor não precise fazer login em seu servidor doméstico.