Dê uma olhada em DenyHosts
Eu o instalei recentemente depois que alguém tentou me pressionar, então não tenho nenhuma experiência com ele, mas ele fará o que você quiser. Na configuração, você pode até configurá-lo para enviar um email quando bloquear alguém.
Pode ou não estar nos repositórios do Ubuntu; Eu não uso o Ubuntu, então não sei.