Você pode definir um endereço IP para conexões de entrada, mas acho que a melhor maneira para todo o tráfego é usar o iptables. Há uma pergunta do Unix StackExchange sobre como configurar isso: Permitir apenas determinado tráfego de saída em determinadas interfaces