Eu ainda não consegui instalá-lo, mas o ZoneMinder deve ser muito bom. Eles ainda têm um livecd você pode baixar para ver como você gosta. Baseado em Linux e pode ser um exagero, mas deve ser capaz de fazer o trabalho. Livre e OpenSource. Acho que qualquer script extra ou mods são feitos no PERL.