Uma combinação de blockhosts e mod_evasive sempre funcionou muito bem para mim, embora uma vez que você tenha fechado todos os buracos, as conexões espúrias devem cair muito rapidamente. Mudar o IP pode ajudar, mas pode não valer a pena o esforço se for um endereço público, já que muitos dos seus ataques possivelmente estão apontados para o nome, e não para o endereço IP.