Sim, algo está consumindo mais e mais memória. Não, não é o VFS (buffers e cache). Não é possível tirar mais conclusões dos dados que você forneceu.
Você realmente precisa ver quais processos / programas estão usando qual memória - isso fornece um indicador melhor do que apenas olhando para o RSS / VSZ, mas ele ainda pode ser enganado por páginas COW. Tente obter uma série de instantâneos e veja se a alteração corresponde à alteração no seu gráfico de cactos.