No Exchange 2003, os bancos de dados são sempre objetos filho dos servidores Exchange; então você vai encontrá-los na árvore de diretórios com uma estrutura como
<Administrative Group Name>
<Servers>
<Server Name>
<Information Store>
<Storage Group Name>
<Database Name>
Isso foi alterado no Exchange 2010, onde os bancos de dados são objetos de nível superior e não estão mais vinculados a um servidor específico.
Então, sim, esse é o lugar certo onde você encontrará um banco de dados de pasta pública do Exchange 2003, e o lugar certo onde você pode apagá-lo.