Sua intuição está correta, não deve haver um problema significativo de desempenho no caso de uma caixa XBMC. Se você pensar sobre isso, isso é quase exatamente o que o Raspberry Pi faz, embora tecnicamente ele use um cartão SD em vez de um drive USB.