Ok, vamos ver isso com mais detalhes.
De sua imagem, percebo que seu servidor tem alguns momentos durante o dia, em que relata algumas páginas sendo trocadas.
Uma página de memória tem tamanho 4KiB. Isso é 4096 bytes. A quantidade máxima de páginas que vejo trocadas por segundo em seu gráfico é 2. Isso é 8192 bytes por segundo por um período de talvez 10 a 15 minutos. Seu disco rígido pode lidar com isso. Mesmo. Isso não está não ocupando seu disco rígido. Se for, você realmente precisa de outra unidade. Até discos rígidos simples geralmente são capazes de lidar com dezenas de megabytes por segundo.
Agora, quanto ao por que o seu servidor está trocando: é bastante normal para um sistema Linux que esteja ligado por um período prolongado de tempo para usar alguma troca. Apenas as páginas que raramente são acessadas são trocadas e você não deve notar nenhum efeito negativo quando isso acontece.
Novamente, no seu caso, apenas alguns megabytes já foram usados como swap. Não consigo relacionar as partes brancas em seu gráfico com a quantidade mínima de troca que ocorreu. Você está procurando por isso?