Não é realmente uma resposta, mas uma explicação.
Como mencionado na pergunta, quando eu fiz a instalação do Ubuntu eu optei por Full Disk Encryption, o que eu não tinha notado é que isso criou automaticamente um sistema de arquivos LQL (Logical Volume Management). Desde o Ubuntu 17.04, o processo de instalação do Ubuntu favoreceu trocar arquivos, por padrão, ao invés de trocar partições, a menos que você selecione LVM.
Isso explica por que a instalação criou automaticamente uma partição de troca. Eu não tenho conhecimento suficiente para dizer por que ele também criou uma partição cryptswap, mas tenho certeza que fazia sentido no mundo do LVM.
Em vez de remover as partições, decidi começar de novo com uma nova instalação. Desta vez, escolhi não ter a criptografia de disco completa (ou LVM), portanto nenhuma partição de swap foi criada. Eu selecionei a opção de unidade de casa criptografada, e espero que seja seguro o suficiente.
Não marcarei esta resposta como correta; no caso de alguém fornecer uma resposta real se simplesmente remover as duas partições de troca seria fácil e seguro.