Na minha experiência, uma partição de troca completa só está acontecendo nos casos em que o uso de memória foi alto. Sob tais circunstâncias, desabilitar o swap pode ser um problema, porque pode não haver memória suficiente para carregar tudo de volta do swap.
Se você tentar desabilitar a troca com memória livre insuficiente, o sistema pode parar de responder ou começar a interromper processos para liberar memória.
Se o uso de memória tiver sido alto e mais tarde descartado novamente, a utilização do swap poderá ser alta, mas eu ficaria surpreso em ver isso em 100%, já que o que causou a liberação da memória provavelmente já liberou pelo menos algumas páginas de trocar.
Se você desabilitar a troca após o uso de memória já ter caído, provavelmente você não está causando muitos problemas desabilitando a troca. Mas também não acho que você esteja fazendo nada que beneficie o desempenho do sistema.
Sempre que vejo um sistema com swap completo, consegui melhorar o desempenho adicionando mais swap.