O problema estava relacionado ao firewall. Definir o número da porta em /etc/ssh/sshd_config
foi fazer a alteração com sucesso, mas o firewall não a permitia.
Por isso, fiz o seguinte:
sudo firewall-cmd --permanent --remove-service=ssh
sudo firewall-cmd --permanent --add-port=<my-port-number>/tcp