Você pode restaurar o arquivo .pst? Ele precisa ser descarregado do outlook antes apenas para excluí-lo.
Se não:
Você pode resolver os erros com bastante facilidade - basta remover os links de dados em 'Painel de Controle' / 'Correio' / [Arquivos de Dados]. Não faça isso ainda.
Veja se você tem opções para remover os calendários (provavelmente não - agora seria um bom momento para fazer o backup / exportação do calendário de trabalho do PST +) e fazê-lo.
Se você ainda puder expandir o conteúdo do .pst excluído no painel de Navegação, vá para a exibição de pastas, clique com o botão direito e exclua o calendário incorreto. Mais do que provavelmente você não terá essa opção, basta remover os arquivos de dados da janela Conta (como mencionado acima).
Se os calendários ainda estão sendo exibidos, você tem a opção de desmarcá-los da janela Calendário?