Acho que você está interpretando mal o uso da memória um pouco. O uso de memória real pequeno pode ser normal, no entanto, no seu caso, mais está acontecendo.
De acordo com sua saída "free -m":
The total memory is: 512 MB
Used memory: 510 MB
Free memory: 1 MB
Cached memory: 488 MB
Total swap: 512 MB
Used swap: 435 MB <-- Worry about that!
Free swap: 76 MB
Como você está usando quase todo o seu swap, seu sistema está parcialmente sendo executado a partir do swap e o desempenho pode ser severamente degradado. Estar preocupado é bom neste caso, mas você está preocupado pelas razões erradas. Confie que o uso de memória relatado está correto, certifique-se de interpretá-lo corretamente.
Em teoria, o livre para usar RAM pode ser 488 + 1 = 489MB, sendo a memória livre e armazenada em cache.
Acho que todas essas consultas estão consumindo a memória na forma de memória em cache (ainda disponível para processos) e também a maior parte da troca, que, como eu disse, prejudicará o desempenho. E qual é a garantia de que os processos reais não estão (parcialmente) sendo executados a partir de swap ou precisando de acesso à memória swappped?
Corrigir a questão da consulta é meu conselho, e não se preocupe se o kernel relata o uso da memória corretamente, estou bastante confiante de que está correto. : -)