O ubuntu firewall é na verdade parte do kernel do linux, e é chamado de iptables.
O Gufw é apenas uma ferramenta para permitir que você altere as configurações do firewall, mas essas configurações ainda estarão lá sem ele. A ferramenta de linha de comando 'ufw' também é apenas uma maneira de alterar as configurações do seu firewall.
Remover o pacote gufw não remove o firewall do Linux. Então, desinstalar o gufw não vai mudar a segurança do seu sistema de uma forma ou de outra. Seu firewall ainda estará lá com as regras estabelecidas pela última vez - seja o padrão ou o que quer que você tenha alterado.