Você pode desativar a pasta RSS Feeds modificando o registro:
Outlook 2013
HKEY_CURRENT_USER\Software\Microsoft\Office.0\Outlook\Options\RSS
DWORD: Disable
Value: 1
Outlook 2010
HKEY_CURRENT_USER\Software\Microsoft\Office.0\Outlook\Options\RSS
DWORD: Disable
Value: 1
Isso desativará a funcionalidade RSS, mas não removerá a pasta RSS . Quaisquer PSTs criados depois que você habilitar esse registro não incluirão a pasta RSS.
Para remover a pasta RSS do seu PST atual, você precisa usar o editor MAPI - MFCMAPI Editor: link
Você deve fazer backup do seu PST e, em seguida, ocultar a pasta RSS (melhor que excluir a opção) - aqui você pode encontrar um tutorial passo-a-passo, com capturas de tela:
link