Parece que o Windows não tem a capacidade de sincronizar o tempo com frequência suficiente e a maneira mais fácil de resolver o problema foi instalando o nettime via:
choco install nettime
Nada mais foi necessário, ele conseguiu consertar o problema sem que eu tivesse que configurar nada na máquina, vamos esperar que ele funcione como um serviço.
Detalhes link