Ou local::lib ou Perlbrew (ou os dois devem poder simplificar as coisas para você. Ainda mais importante, não use CPAN para instalar módulos; use cpanm .
Minha preferência é simplesmente usar o Perlbrew para instalar intérpretes Perl que não sejam do sistema no meu diretório $HOME . Depois disso, cada intérprete é independente e cpanm cuida dos módulos. Honestamente, nunca preciso pensar em onde os módulos acabam. Apenas funciona.