Sua máquina tem 100MB livres e está usando cerca de 260MB para buffers e cache. Não há maneira fácil de saber quanto da memória está sendo usada para o cache que "precisa" ou se o desempenho seria beneficiado por ter mais memória. E / S de disco excessivo é um bom sinal de que mais memória ajudaria, pois permitiria um cache maior.
Seu sistema está usando memória por um motivo simples - não há nenhum benefício em torná-lo gratuito. Se essa memória não for usada, liberá-la seria um desperdício de esforço. E se ele se acostumar, liberá-lo novamente será um esforço desperdiçado, já que ele só precisará ser usado novamente. Os sistemas operacionais modernos podem facilmente fazer a transição da memória de um uso para outro sem ter que se incomodar em liberá-lo. Sistemas operacionais modernos só deixam a memória livre quando não têm escolha.