Eu tive o mesmo problema. O stick USB era rápido quando usado como meio de armazenamento. Como meio de inicialização extremamente lento.
A lentidão ocorreu quando usei um hub como estação de acoplamento ou monitor com portas USB. Quando o hub foi usado, o BIOS usava o stick USB como dispositivo USB 1.1. Isso aconteceu apenas quando meu stick foi usado como meio de inicialização.
Sem os hubs, meu pen drive USB funcionou rapidamente como meio de inicialização.