Acho que um bom começo para resolver o seu problema seria identificar exatamente o que está errado. Posso sugerir que você use ferramentas como top, free -m e iotop em seu host para descobrir se é a CPU, a memória ou a IO que está causando problemas? Uma vez que você tenha uma ideia melhor de qual é o seu gargalo, supondo que haja um, então ficará mais fácil descobrir como resolvê-lo.