Sim. Haverá queda significativa na velocidade se você a mover para HDD externo.
Os SSD são melhores / mais rápidos que o HDD para instalação de sistemas operacionais e softwares aplicativos porque esses softwares precisam acessar um número muito pequeno, mas grande, de arquivos espalhados por toda a unidade. Leva mais tempo para o disco rígido acessar esses arquivos, porque o disco precisa girar para chegar a cada um desses arquivos.
Além disso, a interface SATA é muito mais rápida que a interface USB 3.0.
O desempenho cai se mudarmos de SSD para HDD. Mas ainda mais desempenho cai quando mudamos de HDD interno para HDD externo.