O que é interessante é como o número da porta muda no meio do fluxo:
Mon Mar 21 11:11:47 2016 XX.XX.XX.XX:57804 TLS: Initial packet from [AF_INET]XX.XX.XX.XX:57804, sid=fdf7a7ac 0264c7f3
Mon Mar 21 11:12:38 2016 XX.XX.XX.XX:55938 TLS: Initial packet from [AF_INET]XX.XX.XX.XX:55938, sid=1f242a3f e454a525
Isso me faz pensar que, em algum lugar entre cliente e servidor, há um dispositivo NAT com comportamento inadequado, um dispositivo com entradas de tabela de estado de vida muito curta, que está alterando o número da porta de origem que ele aplica ao fluxo estabelecido do cliente, causando o servidor pensa que duas comunicações de curta duração estão em andamento, em vez de uma contínua.
Esses dispositivos geralmente só fazem isso com o UDP, então eu o aconselhei a confirmar que você está usando o UDP e tente o TCP. Isso você fez e descobriu que isso resolve o problema. O próximo passo é identificar o mau funcionamento do dispositivo NAT, atingi-lo com um martelo de tacos e substituí-lo por um que não cometa o erro cardinal de assumir que todas as comunicações UDP são efêmeras; mas você indicou que está feliz em mudar para o TCP como uma solução alternativa e, assim, o assunto está concluído.