Tecnicamente, sim, uma cópia não criptografada dos dados permanecerá no disco rígido até que os bits sejam sobrescritos por outro arquivo ou seja "fragmentado". Isso é duplamente positivo se o seu disco rígido for um SSD, onde os algoritmos de nivelamento de desgaste disseminam as operações de gravação entre as células do hardware, permitindo que ainda existam bits no dispositivo após o arquivo original ter sido excluído / substituído.
O cenário ideal é a criptografia de disco total / sistema operacional, para proteger até mesmo os arquivos temporários que podem ter sido criados / armazenados durante a criação de dados confidenciais. (Chapéu de papel alumínio: Recipiente criptografado dentro de um disco criptografado.)