Supondo que você execute UFW , faça o seguinte:
sudo ufw enable
sudo ufw allow from YOURIP to any port 443
sudo ufw deny 443
Por favor, certifique-se de não se trancar para fora da máquina enquanto estiver fazendo isso. Como sua interface administrativa está sendo executada em uma porta diferente, talvez seja necessário substituir o 443 acima pelo seu número de porta.