Vá para Personalização - > Desktop Background, e você deve ver a localização logo acima das imagens. No meu caso, é:
% LocalAppData% \ Microsoft \ Windows \ Temporary Internet Files \ Enclosure \ {algum-guid}
Editar: de acordo com a outra resposta, o caminho foi alterado para: % LocalAppData% \ Microsoft \ BingDesktop \ themes
Eu não uso mais o Windows 7, por isso não posso verificar isso.