psad verifica as portas e pode reagir de acordo, verifique isto link para uma breve descrição de como configurá-lo. Eu apenas pesquisei, existem vários outros tutoriais também. Está disponível nos repositórios do Ubuntu, veja aqui .
Também o Fail2ban pode ser algo para você, veja o wiki para mais informações. Ele essencialmente verifica arquivos de log para você e pode bloquear endereços IP automaticamente. Está disponível nos repositórios do Ubuntu, veja aqui .