A página do manual rsnapshot parece indicar que você adicionou os argumentos per-backup-point
como uma lista separada por vírgula após o destino, o exemplo que eles dão é
backup /var/ localhost/ one_fs=1
This is the same as the other examples, but notice the fourth column. This is how you specify per-backup-point options to over-ride global settings. This extra parameter can take several options, separated by commas.
então eu acho que você usaria
backup /var/ localhost/ ssh_args=-p456