Tem certeza de que é relacionado à memória? Caches não deveria estar sugando toda a memória; eles são temporários e dinâmicos, e realocam como a memória ativa é necessária. Os caches estão lá apenas para acelerar as coisas e fazer uso da memória que de outra forma seria desperdiçada.
Eu provavelmente veria se você tem algo mais ocupando o sistema. Ao usar o Top, você está vendo um alto carregamento do sistema? O que é nessas horas comparado com os tempos "normais"? Você classifica o topo em uso da CPU e uso de memória ativa?
Você tentou executar o iotop para ver o disco i / o e ver se algo está martelando a unidade?
Como são todos os crontabs?
Você tirou uma foto de ps durante o dia algumas vezes e a comparou por volta das 10:00 para ver quais processos apareceram?
Em um longo tempo, como sobre conexões de rede com o netstat? qualquer coisa incomum entrando ou saindo do sistema naquela época?
Parece que ele pode estar reconstruindo ou indexando um banco de dados do sistema como "locate", mas não deve atrasar o sistema fazendo isso.