Na minha opinião, uma solução melhor seria usar porta batendo, basicamente você teria "bater" uma série de portas aleatórias que, em seguida, acionaria uma ação no servidor, a ação seria permitir o seu endereço IP para SSH em Você pode até mesmo configurar um tempo limite para que depois de um tempo a porta seja fechada.
Para batidas de portas, você pode usar o knockd. Você precisa de um cliente da batida também do outro lado, é claro. Uma configuração do knockd ficaria assim:
[options]
logfile = /var/log/knockd.log
[SSH]
sequence = 7000,8000,9000
seq_timeout = 5
start_command = ufw allow from %IP% to any port 22
tcpflags = syn
cmd_timeout = 10
stop_command = ufw delete allow from %IP% to any port 22