... and now my website works again
Você pode simplesmente monitorar o resultado do ataque (site funcionando ou não) com um bom serviço de monitoramento de sites de terceiros, como Gomez ou AlertFox.
Para uma instalação local, use e. g. Nagios.
Existem ferramentas que monitoram o padrão de tráfego, mas isso seria um exagero para um site pequeno.