C: \ wmpub é criado pelo OCM (gerenciador de componentes opcional) no momento da instalação do SO e está presente por padrão em todas as instalações do 2003 Server. Ele está bloqueado pelo processo winlogon.exe e será recriado se excluído. Esse comportamento é por design e não há nenhuma maneira com suporte para remover a pasta.
Tecnicamente, é o diretório que será usado por determinados componentes do Windows Media Services se eles já estiverem instalados, mas devido à maneira como os arquivos .inf de instalação do OCM são definidos, a pasta é criada independentemente de o Windows Media Services estar ou não instalado. .
C: \ FPSE_search tem a ver com as extensões de servidor do Frontpage. Se você o desinstalou, suponho que possa ser excluído.