Você está lendo errado e mal usa sua memória.
MemTotal: 66000044 kB = 63GB available to the system
MemFree: 11824808 kB = 11GB with nothing at all used.
Buffers: 1498068 kB = 1.4GB
Cached: 48842440 kB = 46GB of data from the drive that is kept in otherwise unoccupied memory
SwapCached: 0 kB
Active: 5350660 kB = 5.1GB of memory that is actually used by applications.
Quando você lê dados do disco, ele entra na memória. Se nada mais estiver competindo pela memória, esse arquivo é deixado na memória até que um aplicativo tente usar o espaço. Sempre que um arquivo é lido do disco, o cache é verificado primeiro.
Você mal usa sua memória para aplicativos e, mesmo com o cache, você tem muita memória restante para trabalhar. Seu servidor não deveria estar utilizando espaço de troca com essa luz de uma carga de memória.