Não há outra penalidade de desempenho, exceto a velocidade de acesso ao disco e a latência (atraso antes que o primeiro byte seja lido) ao acessar seus arquivos.
Ao acessar muitos dados, o sistema estará ocupado transportando esses dados usando o USB (b) e seu acesso a eles (por exemplo, usando uma ponte I2C-USB). Esse caminho de dados usará mais dados e poderia, em teoria, estar saturado.
Mais uma coisa que você pode querer considerar é o seguinte. Muitos pen drives USB e similares não são feitos para operação 24/7. Quando em uso a cada hora do dia eles podem envelhecer muito mais rapidamente (eu tive um que morreu depois de alguns meses apenas). Seu dispositivo openwrt pode ou não ser capaz de emitir comandos de suspensão, mas mesmo se isso acontecer, pode não ajudar muito.