Muitos servidores e clientes não usam o NTP para sincronizar seu tempo com o horário padrão. O cabeçalho de resposta deve conter um registro de data e hora do servidor.
Diferenças de tempo de segundos são comuns e não é incomum ter diferenças de tempo maiores. Existem sites como time.is que informam a que horas o seu computador está no horário padrão.
Se você tiver acesso ao servidor, o comando ntpq -nc peers mostrará a distância entre o servidor e a hora padrão. Isso só funciona, pois o servidor está executando um ntp server. Servidores Windows possuem comandos ligeiramente diferentes.
Se a resposta foi atendida por um servidor de cache, o cabeçalho da data poderia ser da resposta original. No entanto, para diferenças tão pequenas, eu esperaria que a explicação acima se aplicasse.