Bem, para uma data e hora em todos os seus registros estarão fora de sincronia com outros servidores, tornando muito difícil descobrir quando as coisas aconteceram. Além disso, a sincronização de tempo é usada por alguns protocolos de segurança (kerberos, por exemplo).
Então, o que estou dizendo é que a maioria das coisas continuará funcionando normalmente, alguns protocolos ou aplicativos que dependem do tempo exato podem ser interrompidos e você, como administrador, geralmente terá algumas dores de cabeça por isso.
Configure o NTP em um provedor como o pool.ntp.org ou o NIST e chame-o por um dia.