Você não pode fazer isso porque, para essa conversão, você precisa saber o significado do conteúdo binário.
Se, e. existe uma string dentro de um arquivo binário que não deve ser convertido e um inteiro de 4 bytes pode precisar de tratamento diferente de um inteiro de dois bytes.
Em outras palavras, para uma conversão de pedido de byte, você precisa de uma descrição do tipo de dados.