Ok, descobri como, embora não tenha certeza se essa é uma solução completa.
1 chaves no Editor do Registro
Parece que a chave do registro:
HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\GameUX
está relacionado à pasta Jogos. No interior, a chave com um nome GUID ({s-1-5 etc ...} no meu) continha todos os jogos adicionados personalizados. Eu verifiquei qual deles tem o nome do jogo a vapor (Torchlight) e o removi.
2 removido do AppData
Eu fui para:
C:\Users\IvoryTower\AppData\Local\Microsoft\Windows\GameExplorer and removed the folders which have the same GUID as the games you deleted from registry
Eu encontrei isso pesquisando o registro do Torchlight e pesquisando o mesmo no Windows Explorer.