Sim, haverá uma diferença.
Tanto quanto sei, as unidades flash USB mais rápidas tendem a estar em torno de velocidade de gravação de 20MB / s (mas a velocidade varia muito dependendo do fabricante e do controlador), enquanto os discos rígidos tendem a saturar bastante a porta USB e a transferir perto do limite em torno de 40-50MB / s
Os discos rígidos são muito mais rápidos nas transferências de dados em massa, enquanto os dispositivos Flash tendem a ser muito mais rápidos para encontrar rapidamente pequenos dados.
EDITAR
Para responder ao seu comentário
Você pode obter algumas unidades portáteis de 500 GB que funcionarão apenas com a energia do barramento USB, elas tendem a ser baseadas em discos rígidos de laptops e podem ser um pouco mais lentas do que discos rígidos grandes, mas geralmente estão bem. Um exemplo é este .
Um formato completo pode demorar um pouco e leva apenas mais tempo, quanto maior a unidade, com uma unidade de aproximadamente 500 GB, eu esperaria que um formato completo fosse da ordem de 3 horas em velocidades USB
(500*1024)Mbytes / 40MBytes/s = 12800 seconds
= 213 minutes
= 3.5 hours (approx)
Pode acabar sendo um pouco mais rápido (algo como 2,5 horas) devido a velocidades ligeiramente melhores (o USB pode teoricamente obter até 60MB / seg, mas existem overheads de protocolo e outros dispositivos que compartilham essa velocidade), megabytes do fabricante (como fabricantes não medem um megabyte da mesma forma que todo mundo faz) e outros fatores. Heck, pode até levar mais tempo se for uma unidade particularmente lenta ou se o barramento USB estiver fazendo outras coisas ...
Geralmente, as unidades USB vêm pré-formatadas, têm proteção ( SMART ) para que, caso não consigam escrever um setor, irá remapear o setor fora da parte utilizável da unidade, e um formato rápido será suficiente 99% do tempo.