A primeira coisa que você precisa fazer é alterar a política de saída padrão para negar. Por padrão, todo o tráfego de saída é permitido.
sudo ufw default deny outgoing
Então você deve permitir o tráfego de saída nas duas portas 80 e 443 com estes comandos:
sudo ufw allow out to any port 80
sudo ufw allow out to any port 443
Por fim, como a navegação na web requer acesso a um servidor DNS, você também deve permitir a porta 53:
sudo ufw allow out to any port 53
Em seguida, atualize as regras do firewall:
sudo ufw reload
Confirme as alterações com: sudo ufw status verbose