Pode haver uma maneira melhor, mas isso pode funcionar, embora não de forma eficiente:
rsync -vrn / dest:/ > ~/file_list
Em seguida, edite o teste para remover as estatísticas e, em seguida:
while read file; do
diff $file <(ssh dest "cat $file")
done < ~/edited_file_list
Outra opção:
Você também pode considerar montar o sistema de arquivos com algo como sshfs / fuse e, em seguida, apenas usando diff.