Não tenho certeza do que você quer dizer, mas se você pegar, por exemplo, o debian no X86 ou no ARM, ele funcionará da mesma forma. Os binários não são compatíveis porque a arquitetura da CPU não é a mesma e tudo teve que ser recompilado. Quando você está usando apenas o OSS, isso não será problema na maior parte do tempo (a menos que o código use o assembler X86 e você queira compilá-lo para o ARM, por exemplo).
Eu acho que o que você se refere é que alguns dispositivos rodando linux não funcionam da mesma maneira que um linux-distro (debian, fedora, ...). Isso é porque eles não são uma distribuição linux normal, mas compilações especiais para esse determinado dispositivo. O Linux, como tal, é apenas um kernel e você é livre para construir qualquer ambiente de usuário em torno dele e é assim que eles podem ser diferentes.