Você deve ser capaz de ver as taxas nas quais determinadas contas estão enviando e-mail no servidor, e esse é um bom primeiro passo na detecção, uma vez iniciada a execução de spam. Para prevenção (uma onça do que geralmente vale cerca de um quilo de cura) eu gosto de usar os recursos do Project Honeypot , que tem um ótimo sistema de detecção de spambot em execução para detectar e listar os endereços IP que usam formulários de abuso. A participação no projeto também é uma boa ideia.