É, supondo que você tenha IPs estáticos. Você simplesmente fornece a eles qual endereço eles devem ouvir em seu arquivo de configuração.
local a.b.c.d
Essa linha deve estar ausente ou comentada por padrão, fazendo com que o daemon ouça todas as interfaces disponíveis.
Se os seus IPs forem atribuídos dinamicamente, não há uma maneira incorporada que conheço, e você provavelmente precisará recorrer à atualização do arquivo de configuração em scripts ifupdown.