Francamente, por que se incomodar? A maioria dos servidores recebe centenas de varreduras e tentativas de login por dia. É simplesmente impossível bloquear manualmente todos eles.
Seu firewall parece estar fazendo seu trabalho. Afinal, está bloqueando o tráfego indesejado.
Certifique-se de não executar nenhum serviço desnecessário. Quanto menos houver disponível, menos haverá para invadir.
Para proteger o SSH: Certifique-se de configurar o SSH para negar o login pelo root. Verifique se as senhas de todas as contas do SSH são strongs. O Denyhosts bloqueia automaticamente os IPs depois de algumas tentativas de login (muito útil), mas certifique-se de que você está na lista de permissões do seu próprio IP ou arriscar ser trancado você mesmo. Também é muito eficaz rodar o SSH em uma porta diferente, já que a maioria dos ataques só experimenta a porta 22.
Eu só tomaria medidas quando estivesse afetando seus serviços ou largura de banda. Verifique whois para o proprietário do netblock do qual o tráfego está chegando e forneça uma reclamação clara e amigável ao endereço de abuso do proprietário. Se eles não responderem em um tempo razoável, vá ao seu provedor, etc.