Os itens no Menu Iniciar do Windows 10 são coletados de vários lugares, mas um que você não mencionou é a pasta real do Menu Iniciar.
A maneira de encontrar isso é clicar com o botão direito do mouse em outra entrada no menu Iniciar, selecionar Mais e, em seguida, Abrir localização de arquivo .
Se o ícone que você clicou não tiver o local do arquivo aberto, tente outro.
Isso provavelmente abrirá C:\ProgramData\Microsoft\Windows\Start Menu\Programs\...
Navegue por aqui e veja se você encontra a pasta WPS Office irritante. Você pode precisar ser um administrador local para excluir a pasta, se você a encontrar.