Não estava ficando preso ... eu mudei o valor errado. Em vez de mudar:
<intervalTrigger name="Trunk SVN Commit" seconds="60" buildCondition="IfModificationExists" />
para
<intervalTrigger name="Trunk SVN Commit" seconds="4000" buildCondition="IfModificationExists" />
Eu mudei:
<modificationDelaySeconds>4000</modificationDelaySeconds>
Então o cc.net estava funcionando exatamente como deveria. Estava checando por uma mudança e depois esperando 4000 segundos para atualizar.