Quando tudo corre mal, você pode executar o vmstat?
$ vmstat 5 5
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
4 0 56464 557284 289208 2132264 0 0 3 16 24 15 16 5 79 0
0 0 56464 557508 289208 2132264 0 0 0 14 1146 2111 9 4 88 0
1 0 56464 557540 289208 2132264 0 0 0 0 1170 2167 5 4 91 0
0 0 56464 557172 289208 2132264 0 0 0 29 1213 2325 7 6 88 0
2 0 56464 557876 289208 2132264 0 0 0 31 1261 2644 10 6 83 0
Olhe para a coluna "in" para ver as interrupções. Eu vi hardware quebrado causar muitas interrupções que podem significar que você não obtém atualizações para o relógio antes.
Tente inicializá-lo em um CD "Knoppix" e deixe-o por um tempo. O relógio ainda dá errado?