Eu não me preocuparia com o pequeno uso de swap. Acontece que o kernel descarta alguns dados da memória para trocar. Você pode controlar o comportamento do kernel com a opção swappiness :
echo 60 > /proc/sys/vm/swappiness
Este controle é usado para definir quão agressivo o kernel irá trocar páginas de memória. Valores mais altos aumentam a agressividade, valores mais baixos diminuir a quantidade de swap. Um valor de 0 instrui o kernel a não iniciar a troca até que a quantidade de páginas livres e pagas por arquivos seja menor do que a marca d'água alta em uma zona. O valor padrão é 60.
Você encontrará mais informações sobre o subsistema de memória virtual na documentação do kernel