Parece que usar uma combinação do tipo de rede "somente host" e samba / cifs ajudou muito. Agora estou recebendo 3 segundos de atraso em vez de dois dígitos.
No entanto, eu ainda adoraria saber o que todo mundo está usando e os resultados que estão obtendo.