Veja a explicação do próprio Google .
O seu IP não está oculto de alguma forma quando navega no "modo de navegação anônima". Isso afeta apenas o que está armazenado no seu computador pessoal. Se você baixar explicitamente um arquivo no disco rígido, ele não será apagado ao fechar o navegador, mas os cookies, etc., serão.
Um proxy por si só ocultará seu IP pessoal, mas não o ajudará a rastrear cookies armazenados em seu computador pessoal. "Modo anônimo" e proxies funcionam em diferentes domínios, dessa forma.