Paralelismo e como o controlador faz uso dele é o fator principal. Normalmente não há espaço para os 8-16 chips NAND discretos que você encontraria em um SSD. Os controladores no pendrive normalmente também não são tão complexos, para usar eficientemente o paralelismo disponível.
Outros fatores importantes são a qualidade do flash. Muitas varas USB usam flash mais barato que você tem que ler e escrever mais devagar para evitar erros. As unidades USB não têm muito provisionamento excessivo para ajudar a manter os blocos limpos ao redor. E o USB 2.0 está limitado a cerca de 35 MB / s. E muitos SSDs vêm com um grande cache de RAM.
A principal razão para essas diferenças é o preço. Existem alguns SSDs num formato USB, como o LaCie FastKey.