O VB pode fazer isso: link
My.Computer.FileSystem.DeleteFile("C:\test.txt",
Microsoft.VisualBasic.FileIO.UIOption.AllDialogs,.
Microsoft.VisualBasic.FileIO.RecycleOption.SendToRecycleBin)
Ou desta forma:
My.Computer.FileSystem.DeleteFile( "C:\test.txt",
FileIO.UIOption.OnlyErrorDialogs,
FileIO.RecycleOption.SendToRecycleBin,
FileIO.UICancelOption.ThrowException)
Uma terceira opção é mover o arquivo para a Lixeira e, se não houver erros, exclua o original. Isso pode funcionar melhor para versões mais antigas do Office, já que as funções de exclusão para reciclagem são adições relativamente recentes.