Os deslocamentos do NTP que você está vendo são milissegundos e não segundos. Se você tiver problemas com as datas colocadas em seus cabeçalhos de e-mail, talvez sejam seus clientes. Se você conseguir uma cópia dos cabeçalhos, deverá ser fácil determinar onde está o problema. O cabeçalho Date: deve ter quase exatamente o mesmo tempo que o seu último cabeçalho Received: (primeiro servidor MTA para lidar com email). O NTP é muito mais preciso que é necessário para cabeçalhos de email. Se houver um problema, verifique se seus servidores estão sincronizados com seu servidor NTP.
Parece que você reuniu esses dados relativamente logo depois de reiniciar o seu cliente NTP. Isso é indicado pelo vale de pesquisa de 256. Ele deve subir para 1024 depois que as coisas se estabilizarem.
Seu servidor NTP está rastreando seu servidor local conforme indicado pelo "*" à esquerda. Dado seu estrato e jitter, é improvável que isso mude. Se houver um tempo significativamente diferente dos outros servidores, ele poderá ser despejado.
Dois outros servidores estão sendo usados para determinar se o relógio atual pode ser confiável. Estes são indicados por "+" à esquerda. Eles serão escolhidos nos servidores de menor status. Os outros dois não estão participando da votação, conforme indicado por "-" à esquerda. Os servidores de votação podem mudar ao longo do tempo com base na sua estabilidade como uma fonte para o seu servidor. O jitter desses servidores não deve causar nenhum problema, a menos que seu servidor local seja removido.