Se você deseja remover a partição virtual, primeiro tente comentar sua entrada em /etc/fstab
e reinicialize.
Quanto ao tempo de inicialização longo, pode ser que um dos seus sistemas de arquivos tenha sido danificado. Assim que seu sistema estiver ativo, execute o comando fsck.*
apropriado para cada um dos sistemas de arquivos. Se relatar erros, geralmente recomendará como corrigi-los.
(Btw, rodar um sistema sem swap é perfeitamente normal. Estou fazendo isso desde vários anos - atualmente, máquinas comuns possuem RAM suficiente.)