Na verdade, você não precisa da partição de troca e da partição / boot.
Mas voltando à sua pergunta: sim, a troca é usada como memória virtual (e também para hibernação). Se tanto o arquivo de troca quanto a memória RAM física estiverem preenchidos, você provavelmente não terá um kernel panic: os aplicativos começarão a ser mortos pelo kernel assassino de falta de memória .
Mas, neste ponto, seu sistema ficará insuportavelmente lento (o que pode levar você a pensar que ele travou) devido à troca pesada.
Se você tem uma partição swap muito grande, ela não será usada e será desperdiçada espaço em disco.