Isso depende da configuração do servidor de e-mail, mas não deve ser um problema.
No entanto, os clientes POP3, por padrão, normalmente excluem o correio do servidor POP3, o que tornaria o IMAP menos útil. A maioria dos clientes POP3 fornece uma maneira de substituir isso.
O POP3 também permite acesso apenas a uma pasta, geralmente a caixa de entrada.
O que realmente pode funcionar melhor para você é usar o IMAP no seu cliente de desktop. Se você ainda quiser ter uma estrutura de pastas locais, a maioria dos clientes IMAP de desktop terá recursos para armazenar em cache suas mensagens para disponibilizá-las offline.