A página de manual para ssh explica claramente a sinopse do comando ssh :
ssh [...] [-p port] [...] [user@]hostname [...]
Você não pode adicionar uma porta após o hostname . Você deve usar o seguinte:
ssh -p 1337 xx.xx.xxx.xx
Edite depois de reunir mais detalhes: A parte importante é
connection refused by tcp_wrapper
Seu servidor está configurado para recusar conexões de alguns endereços IP em /etc/hosts.allow e / ou /etc/hosts.deny . Reveja estas regras e ajuste-as se quiser poder fazer o ssh a partir do seu IP.