Depende realmente de qual pasta você está excluindo - o Firefox portable usa esse recurso para armazenar dados:
Drive & gt ;: \ PortableApps \ FirefoxPortable \ Data \ profile
Portanto, se você estiver excluindo o FirefoxPortable com todos os seus subdiretórios, deverá estar OK.
No entanto, restaurar arquivos apagados é bastante simples, então eu usaria algum serviço de anonimato online além do que você está fazendo