Dependendo da configuração em tempo de compilação de mutt , você pode ter o recurso hcache ("cache de cabeçalho") ativado. Com esse recurso habilitado, mutt poderá armazenar em cache os cabeçalhos das mensagens nas pastas Maildir (e IMAP), diminuindo bastante o tempo necessário para abrir essa pasta.
Para usar o recurso hcache , adicione uma linha no seu arquivo .muttrc :
set header_cache = "/path/to/cache_folder"
Outras leituras: link