Se você fizer uma exclusão normal, ela permanecerá no local da lixeira. Fazer uma exclusão de turno irá removê-lo para que ele não apareça na lixeira.
No entanto, mesmo depois de um turno, apague o arquivo que permanece fisicamente no disco até que algo o sobre. Esta é a premissa para a recuperação de dados. Mesmo se você eliminar o esquema de partição, os arquivos ainda estarão lá, desde que você não os sobrescreva, ou use uma ferramenta de depuração para limpar os dados.
EDITAR: Usarei o NTFS como exemplo, que geralmente é o que o Windows usa. No NTFS, todos os dados de arquivo, diretório e metarquivo - nome do arquivo, data de criação, permissões de acesso (pelo uso de listas de controle de acesso) e tamanho - são armazenados como metadados na tabela de arquivos mestre (MFT). Então, no meu exemplo, o local do arquivo é armazenado na MFT. Então /temp/file.txt quando cortado e depois colado em /temp2/file.txt o registro daquele arquivo é alterado na MFT. O arquivo real em si não é movido. Há um pouco mais nisso, mas essa é a essência geral disso.