No mínimo, você receberá um relatório de erros durante a inicialização do Ubuntu, dizendo que a partição de swap não foi encontrada. Dependendo dos detalhes exatos, isso pode impedir o Ubuntu de iniciar e soltar você em um shell de emergência. No entanto, se você tiver RAM suficiente (normalmente, para o Ubuntu, 4 GB ou mais), o Ubuntu deve, pelo menos, terminar sem trocar; o erro acontece porque o Ubuntu espera encontrar uma partição swap.
Mesmo se o Ubuntu iniciar com sucesso sem uma partição swap (na minha experiência, isso acontecerá somente se você não criou um durante a instalação, mas pode haver outras circunstâncias que o permitam), você terei problemas se os processos em execução começarem a exigir mais RAM do que a RAM física disponível no hardware; por exemplo, se você tem 4 GB instalados e carrega programas que, juntos, precisam de mais de 4 GB, você terá problemas com desempenho extremamente lento e possivelmente até congelamento do sistema.
Por causa disso, eu recomendaria contra a exclusão de sua partição de swap. Eles são tipicamente pequenos, comparados com o tamanho dos discos rígidos modernos ou mesmo dos SSDs, e são parte de como o Ubuntu funciona tão bem quanto ele.