Não há muita diferença. O sistema de empacotamento é exatamente o mesmo, e todos os pacotes são construídos automaticamente em todas as arquiteturas da mesma fonte. (A fonte pode conter diferentes configurações de compilação, é claro). Os pacotes só são aceitos no teste Debian ou no Debian estável se estiverem disponíveis para todos arquiteturas suportadas (que inclui o ARM desde o potato em 2000). Há algumas exceções, por dispensação explícita - principalmente compiladores "exóticos" e programas não livres de código fechado.
Existem duas arquiteturas ARM no Debian: armel (seguindo a atual interface binária do ARM, EABI ) e armhf (para processadores com ponto flutuante de hardware), que deverá ser lançado oficialmente com o próximo lançamento de wheezy. Os binários em armhf são mais rápidos para aplicativos que usam ponto flutuante, por exemplo, codificação e decodificação de vídeo.
O armhf do Debian não funciona em um Raspberry Pi, porque embora o Pi tenha ponto flutuante de hardware, ele suporta apenas uma versão mais antiga do conjunto de instruções, mas você pode usar a distribuição especializada Raspbian , que recompila os pacotes Debian otimizados para o processador do Pi.
Para o tipo de appliance de rede que você descreve (roteador, firewall, servidor de arquivos, ...), a arquitetura do processador não importa. Um dispositivo ARM ou MIPS fará bem.
Não há muita diferença no consumo de RAM entre ARM e x86. O código ARM é mais compacto, mas, para um dispositivo de rede, a maior parte do uso de RAM será para os dados que você está servindo, os pacotes de rede que você está transmitindo, etc.