Eu tive um problema semelhante com o tempo de resposta, até que descobri que o banco de dados do SpamAssassin requer alguma manutenção contínua mínima. Você está emitindo
sa-learn --force-expire
diariamente? Pode ser que a falta de manutenção tenha tornado o banco de dados desconfortável e precise ser "reduzido um pouco". Tente colocá-lo em uma tarefa cron diária e veja se a resposta é melhor na próxima execução de sa-learn
.