Does the speed of USB-device matter?
É importante para o processo de inicialização em si. Ele tem que carregar o gerenciador de inicialização, o kernel e o initramfs do USB, que podem ter vários MB juntos, então pode fazer a diferença de alguns segundos.
Does the system contiously use the bootloader to decrypt
Não. Normalmente, você pode retirar o dispositivo USB assim que a primeira mensagem do kernel aparecer na tela. Ou seja, a menos que você também tenha arquivos de chave no dispositivo USB, caso em que você poderá extraí-lo somente após passar pela fase Initramfs / starting of services.
tl; dr não importa para o sistema em execução, uma vez que é inicializado
Dito isso, estou muito feliz por ter mudado para um stick USB3 mais rápido para inicialização, mas também uso LiveCDs inteiros nesse stick, onde a velocidade do USB é muito mais importante, já que todo o sistema Live está em USB nesse caso.