Claro, você pode.
Mas, no cpanm 1.1.2, ele limpa automaticamente os diretórios de trabalho com mais de 7 dias. Você pode alterar esse número usando --auto-cleanup
option:
--auto-cleanup
Specifies the number of days in which cpanm's work directories expire.
Defaults to 7, which means old work directories will be cleaned up in one week.
You can set the value to 0 to make cpan never cleanup those directories.