Uma verificação rápida das caixas baseadas em RHEL5 indica que o CPAN é fornecido como parte do pacote base Perl. Então, não há uma maneira de removê-lo fora de puxar todo o próprio Perl. Eu estou apostando que é o mesmo com o CentOS6. Você pode verificar isso com:
rpm -q --whatprovides $(which cpan)
Você provavelmente vai querer encontrar um teste melhor para o seu software de automação.