2 minutos por mês também não são ruins. O NTP deve ser capaz de corrigir com prazer essa quantidade de deriva.
Se nem sempre foi assim, você pode desligar a máquina e tentar substituir a bateria do CMOS. Eles são baratos e você pode achar que isso resolve o problema.
História anedótica para você:
Eu já vi no passado uma máquina de corrida que exibia um desvio de 500 ~ PPM. Igual a cerca de 45 segundos por dia. Era demais para o NTP corrigir on-the-fly. Eu tentei todos os tipos de coisas para corrigi-lo, incluindo um novo kernel e diferentes classes RTC.
No final das minhas dúvidas, e contra a lógica de que isso deveria afetar uma máquina de corrida, substituí a bateria CMOS por uma nova. Um multímetro mostrava apenas uma diferença muito pequena entre as baterias antigas e as novas. Consertou o desvio do relógio.