Você não pode escolher. Os processadores são (com um número muito pequeno de exceções) fixados em seu endianness, então quando você tem dados para manipular, você DEVE colocá-los no formato adequado para o seu CPU. Não é uma escolha e não é um problema de desempenho: é exatamente o que deve ser feito.
A única vez que surge muito é quando serializar os dados. Muitos protocolos de rede comuns foram projetados com representações on-the-wire big-endian. Se você ler esses bytes diretamente na memória de uma CPU Intel, você terá que trocar os bytes para torná-los um pouco endian antes de poder trabalhar com eles. Isso não é grande coisa, e novamente, não é uma escolha - o protocolo de rede é o que é, e você não tem escolha sobre como colocar as coisas no ar se quiser que outros sistemas possam entenda seus pacotes.