Eu configuraria o ufw assim:
primeiro, certifique-se de que o ufw esteja inativo para que você não se desligue
sudo ufw status # should say inactive if not, turn it off
do que configure (observe que o pedido é crítico):
sudo ufw default deny incoming # applied at the end of the last rule
sudo ufw default allow outgoing
sudo ufw allow from x.x.x.x to any 22
essas regras devem fazer isso, pois o único ssh do seu IP especificado é permitido.
depois ligue o firewall:
sudo ufw enable