Adicione --reject-with tcp-reset para que as conexões rejeitadas sejam fechadas normalmente, caso contrário você terá um monte de SYN_WAITs por perto.
sudo /sbin/iptables -A INPUT -p tcp --syn --dport 22 -m connlimit --connlimit-above 5 -j REJECT --reject-with tcp-reset