O artigo Configurações e locais de arquivos do Outlook 2003 contém um enorme lista de locais onde as configurações do Outlook 2003 são armazenadas (exceto configurações de email).
As configurações de email são armazenadas no registro em:
HKEY_CURRENT_USER\Software\Microsoft\Office.0\Common\MailSettings
No entanto, como algumas configurações (mas não todas) estão em binário, o máximo que se pode fazer é exportar e reimportar essas configurações problemáticas. Eles não parecem ser codificados, então pode ser possível estudar sua estrutura.
Você também pode usar o Assistente para salvar minhas configurações para salvar e restaurar quase todas as configurações do Outlook. Como é um programa GUI, para que ele seja executado automaticamente, você pode precisar automatizar sua inicialização com o AutoHotkey ou outro programa de macro.
Em qualquer caso, o artigo acima também inclui uma lista completa das chaves de registro salvas, que podem apontar você na direção correta, mesmo se você decidir não usar o assistente.