Para que o comando swapoff funcione, deve haver memória física livre suficiente para que os arquivos trocados possam ser movidos. Tanto quanto eu posso ver, sua quantidade de uso de swap é muito alta e não há como o sistema poder liberá-lo.
Veja a página de manual do swapoff: link
...Note that swapoff will fail and refuse to remove a swap device if there is insufficient VM (memory + remaining swap devices) to run the system...
Certamente há algo errado com o seu sistema que você deve investigar. Você também pode tentar executar swapoff com a opção -v (para verboso) para ver se as saídas geram mais informações.