ntpd problema no soquete

Question

Atualmente tenho um programa em C # que consulta meu servidor NTP (CentOS 7)

public static DateTime GetNetworkTime()
{
    const string ntpServer = "192.168.10.48";
    var ntpData = new byte[48];
    ntpData[0] = 0x1B; //LeapIndicator = 0 (no warning), VersionNum = 3 (IPv4 only), Mode = 3 (Client Mode)

    var addresses = Dns.GetHostEntry(ntpServer).AddressList;
    var ipEndPoint = new IPEndPoint(addresses[0], 123);
    var socket = new Socket(AddressFamily.InterNetwork, SocketType.Dgram, ProtocolType.Udp);

    socket.Connect(ipEndPoint);
    socket.Send(ntpData);
    socket.Receive(ntpData);
    socket.Close();

    ulong intPart = (ulong)ntpData[40] << 24 | (ulong)ntpData[41] << 16 | (ulong)ntpData[42] << 8 | (ulong)ntpData[43];
    ulong fractPart = (ulong)ntpData[44] << 24 | (ulong)ntpData[45] << 16 | (ulong)ntpData[46] << 8 | (ulong)ntpData[47];

    var milliseconds = (intPart * 1000) + ((fractPart * 1000) / 0x100000000L);
    var networkDateTime = (new DateTime(1900, 1, 1)).AddMilliseconds((long)milliseconds);

    return networkDateTime;
}

isso funciona, depois de algum tempo ele retornará um erro:

A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond

continua a funcionar em outro PC. Eu estou pensando ntpd tem um firewall embutido que está bloqueando a conexão de soquete. Eu tenho firewalld offline. Além disso, a mudança do servidor ntp para gostar de asia.pool.ntp.org parece funcionar.

Atualmente, também removi todas as restrições. Existe alguma maneira de encontrar a causa disso?