Respondendo a minha própria pergunta depois de encontrar a resposta: achei que o problema estava com o pedido. Negar regras deve ir primeiro, eu tive que mostrar as regras numeradas com:
sudo ufw status numbered
Em seguida, excluir a regra com:
sudo ufw delete 4
Em seguida, adicione-o primeiro com:
sudo ufw insert 1 deny from 15.15.15.51
Em seguida, recarregando com
sudo ufw reload
Agora está funcionando.