Você pode simplesmente clicar em 'excluir' para remover um e-mail da Caixa de entrada - o e-mail ainda estará disponível na pasta Todos os e-mails. Se você realmente quiser excluir um e-mail (algo que provavelmente você não faz com tanta frequência quanto "arquivar"), arraste esse e-mail para a pasta de lixeira do Google Mail.