isso ainda acontece depois de definir a hora com o ntp? caso contrário, tente usar o rtc. Eu também li em algum lugar em um fórum que, se é um problema do PC de 64 bits, alguém sugeriu usar o noapictimer opção do kernel para consertá-lo. seria interessante o sistema que você usa e qual versão do kernel para melhor identificar a falha
EDITAR: Eu acho que tem algo a ver com o xen kernel e problemas de tempo lá. Verifique estas páginas:
(O tempo deu um problema para trás)
(relógio rápido)
ou no google para xen kernel e problemas de tempo. há muita discussão sobre este tópico