No hardware ARM, existem dois tipos de operações de ponto flutuante; aqueles feitos em software e aqueles feitos em hardware. O hardware anterior da ARM geralmente deixava de fora o hardware que fazia o ponto flutuante e deixava esse trabalho para uma solução de software virtualizado, já que o impacto no desempenho não era tão grande e o custo do hardware era baixo.
Hoje em dia, muitos SoCs ARM oferecem ponto flutuante de hardware, mas isso requer uma arquitetura diferente no próprio chip, portanto, todos os binários precisam ser recompilados. É por isso que as distribuições, como o Debian, por exemplo, possuem uma arquitetura chamada "armel" e "armhf". Ambos são capazes de ponto flutuante, mas armel faz isso em software e armhf (ou seja, hardfloat ARM) faz isso em hardware.
Em geral, você desejará executar todos os seus binários sob a mesma arquitetura, embora com o Debian multiarch seja possível ter múltiplas arquiteturas suportadas e executadas com o qemu, mas isso ainda é um pouco complicado.