Eu acho que você não permitiu a porta SSH na sua configuração do ufw. No caso em que você não tenha feito isso, a porta em que o SSH está sendo executado é bloqueada pelo firewall. Eu acho que você não pode ter acesso remoto ao seu servidor ...
Se você tiver acesso (físico) ao seu servidor, você pode abrir a porta SSH usando o seguinte comando:
sudo ufw allow <port number>/tcp