Sim, você pode remover essas pastas sem afetar seu arquivo, pois os itens não estão mais no arquivo de dados que você está usando.
Unlike a traditional backup in which a copy is made, archived items are moved to a separate Outlook Data File and set aside to be accessed when needed.
Fonte - Como arquivar e-mails no Outlook 2010