Sua rede suporta QoS? Se isso acontecer, você deve usar o campo IP TOS correto para o tráfego rsync. Você pode usar o comando Linux tc
para isso.
Além disso, há um esquema padrão de classificação . Você pode marcar o tráfego rsync por exemplo com 0 e observar a diferença.