Trocar é memória, então se ele morrer você provavelmente terá um kernel em pânico. No mínimo, você veria alguns binarios falharem. Dito isto, se você não precisa / quer que seu sistema continue correndo depois de um disco e morra em você, vá em frente e risque porque o desempenho é re: swap.