A solução para mim foi mudar para offlineimap + msmtp + isso em .muttrc: set sendmail_wait=-1
.
Para qualquer pessoa com frustrações no desempenho do imap com o mutt (usando o gmail ou outro), o offlineimap e essas outras configurações são definitivamente o caminho a seguir.