O NTP se comporta melhor quando tem pelo menos 3 servidores para escolher, de preferência 5. A resposta curta à sua pergunta é 'não' sistemas de temporização bem comportados devem estar dentro de alguns ms da fonte de referência.
Quanto ao que os números significam - dê uma olhada aqui nas definições do NTP que explica o que as coisas como rootdelay
& rootdisp
significa e é provavelmente um bom lugar para começar.
Aqui está o que eu sugiro que você tente ver se você pode melhorar seu tempo;
Não use o FritzBox como servidor de horário - os roteadores geralmente são muito ruins nessa tarefa.
Não use a caixa NAS como servidor de horário - eu tenho algumas dessas unidades Synology nos sites e elas são todas muito ruins em manter o tempo como clientes ou servidores. (meu todo executado com um deslocamento de pelo menos +1.5)
Se você tem um PC estável (linux) que está funcionando 24 horas por dia, 7 dias por semana, seria uma escolha melhor se você quiser rodar o seu próprio sistema de cronometragem, mas você não precisa fazer isso.
Configure o seu FritzBox para usar 1 servidor selecionado manualmente, que é um bom ping para a sua rede.
Configure o seu PC para usar o mesmo servidor de internet.
Configure o NAS Box para usar o mesmo servidor de internet. - Se você entrar na linha de comando / ssh, você pode ajustar o arquivo de configuração para o ntp se precisar.
Se você usar a mesma fonte única para tudo, isso deve minimizar seu problema nesse caso.