O diretório padrão é o diretório "home". Você pode abrir um diretório diferente digitando seu nome da seguinte forma:
:NERDTree /path/to/directory
ou o diretório atual assim:
:NERDTree .
Crie um mapeamento personalizado para tornar o processo mais rápido.
Dito isto, o meu directório inicial pesa 361 Gb para 187 900 elementos e o caching demora cerca de 2 segundos. Você pode ter outro problema em algum lugar.