Você pode usar o xinetd para limitar o número de conexões simultâneas, caso contrário será fácil fazer um DDOS em você. O xinetd também possui vários outros recursos úteis para fortalecer as coisas.
Você pode restringir o acesso de um determinado número de hosts? Se assim for, em seguida, firewall fora do resto do mundo para essa porta.
Se você está permitindo acesso ssh externo a este sistema, então mova o sshd para uma porta não padrão e não permita logins root. O ideal é usar chaves ssh em vez de ou com senhas.