Inspirado por este post nos fóruns do Ubuntu, descobri que o culpado era a Camada de abstração de hardware .
Ignorei o dispositivo em questão criando o seguinte arquivo:
/usr/local/share/hal/fdi/preprobe/20thirdparty/10-ignore-swap.fdi
com o seguinte conteúdo:
<?xml version="1.0" encoding="UTF-8"?>
<deviceinfo version="0.2">
<device>
<match key="block.device" string="/dev/ada0p2">
<merge key="info.ignore" type="bool">true</merge>
</match>
</device>
</deviceinfo>
Isso faz com que o dispositivo seja ignorado pelo HAL e não seja mais exibido nos gerenciadores de arquivos XFCE ou KDE.