O problema é que o próprio servidor não conseguiu sincronizar com o servidor upstream. a solução foi mudar a configuração do servidor assim:
reativou os servidores do repositório Debian em vez do meu único servidor de código fixo.
server 0.debian.pool.ntp.org iburst
server 1.debian.pool.ntp.org iburst
server 2.debian.pool.ntp.org iburst
server 3.debian.pool.ntp.org iburst
Eu adicionei uma referência de relógio local, isso faz com que o servidor apareça sincronizado com os clientes mesmo quando não está, o que é o comportamento desejado para minha configuração.
server 127.127.1.0
fudge 127.127.1.0 stratum 10
Depois que fiz essas alterações, o servidor conseguiu se sincronizar e, em seguida, os clientes conseguiram sincronizar com o servidor.