Infelizmente, você não pode fazer o que procura.
Enquanto o diretório pode ser mantido aberto, os arquivos que residem no diretório não fazem parte do próprio diretório. O diretório simplesmente armazena os nomes dos arquivos. Além disso, com os arquivos excluídos, o diretório já foi modificado para remover esses arquivos.
Em resumo, a menos que cada arquivo individual seja mantido aberto, eles não poderão ser recuperados dessa maneira.