Os IPs secundários estão na mesma sub-rede que o IP principal? Talvez isso seja muito óbvio, mas isso seria a primeira coisa a verificar desde que você não especificou ...
Ah ...
Não sei bem o que você está tentando realizar. Ao usar / 32s, quase parece que você está tentando aplicar o conceito de IPs de loopback a um servidor, mas como o servidor não é um roteador e não participa de um protocolo de roteamento dinâmico, ele não funcionará.
É válido ter várias sub-redes na mesma rede, mas você ainda precisa de um gateway. Normalmente, quando faço algo assim, eu definiria minhas duas redes (192.168.2.0/24 e 192.168.80.0/24). Em seguida, na interface do roteador para esse segmento de LAN, você acessaria os IPs do gateway para ambas as redes. Um exemplo disso de um roteador cisco:
interface GigabitEthernet1/6
ip address 172.16.45.1 255.255.255.224
ip address 172.16.45.65 255.255.255.248 secondary
Então, em qualquer servidor dessa LAN, posso usar IPs das redes 172.16.45.0/27 ou 172.16.45.64/29, mas se eles quiserem conversar entre sub-redes, precisarão usar o roteador.
Espero que ajude alguns.