Tente adicionar
vm.swappiness=0
até o final de /etc/sysctl.conf
e reinicialize ou defina a permutação para zero. Desta forma, você não vai bater na troca de disco até ficar sem memória RAM.
Você também pode tentar desabilitar o Akonadi:
link (aplicável ao KDE5)