Como "manipular arquivos de dados grandes" não fornece muito mais informações sobre o que você deseja fazer, Eu estou supondo algum processamento de dados simples.
Os scripts de shell Bash geralmente são terrivelmente lentos, mas para fins de processamento de texto pode ser exatamente o que você precisa, em combinação com as ferramentas cli como grep, sed, awk, cut, sort, uniq, wc e outras. Em muitos casos, esta é a solução de trabalho mais rápida para o seu problema, especialmente se for um utilitário único que você precisa. Para mais informações sobre essa abordagem, veja [1]
Se você precisar manipular arquivos de dados grandes em seu projeto existente, recomendo não reescrevê-lo em outro idioma [2]
Se você precisar escrever uma ferramenta para processar esses arquivos e não tiver restrições, um programa em C ++ poderá produzir o código mais rápido. Mas a "velocidade" também se reduz à velocidade do desenvolvimento e é como mencionei acima, em relação a quanto você executará o programa.
1: link
2: link