Eu mudei de IMAP para POP e agora funciona.
O truque aqui é que você não pode especificar seu endereço do gmail ao adicionar uma nova conta, dessa forma, o Mail.app usará automaticamente o IMAP para sua conta do Gmail.
Use apenas outro endereço e, na configuração manual, configure o servidor POP do Gmail.