Coloque
set -x
na parte superior e
set +x
na parte inferior de ambos os arquivos ~/.profile
e ~/.bashrc
.
(Mantenha seu editor de texto aberto para que você possa desfazer essas alterações facilmente!)
Estes comandos mostrarão o que está sendo executado quando o seu shell for iniciado, assim você poderá determinar qual comando está lento.