Eu tive o mesmo problema: o Outlook 2013 estava constantemente usando 20-30% da minha CPU. A única maneira de diminuir o uso da CPU foi fechar e reabrir o Outlook 2013.
Seguindo dicas de dois blogs da Microsoft (consulte aqui e aqui ) Eu resolvi o problema removendo muitos acompanhamentos antigos (marcando-os como 'concluídos'). Isso trouxe o uso da CPU de volta para 0%.