Talvez seja um mal-entendido que os supercomputadores sejam basicamente sobre velocidade, porque não é necessariamente o caso.
Supercomputadores são sobre computação, sobre energia. Lidar com conjuntos muito grandes de dados contendo valores muito grandes ou muito complexos muito rapidamente. Isso não requer velocidade, mas sim poder: ônibus super-amplos, enormes conjuntos de instruções e a capacidade de enviar grandes quantidades de dados para vários lugares rapidamente.
Essa última parte é a única parte em que "velocidade", como geralmente concebemos, realmente vem e é geralmente tratada com o uso de redes super-rápidas, porque a maioria dos supercomputadores é grande demais para a informação ser transferida entre componentes por caminhos gravados em silicone.
Suponho que seja fácil entender mal isso também. Super computadores são definitivamente rápidos. Mais rápido que qualquer coisa, a Alienware e $ 10k podem te ajudar. Mas a maior parte de sua capacidade, o poder, não vem da velocidade, mas da capacidade, anteriormente declarada, de fazer coisas complexas com grandes quantidades de dados de uma só vez.