Eu encontrei a resposta - bem óbvio, mas espero que alguém possa aprender com a minha tolice - a configuração da interface diz ao dnsmasq quais interfaces devem ser ouvidas - se você tem várias instâncias do dnsmasq você pode usar a configuração acima para especifique quais interfaces cada instância deve escutar.
No entanto, se você tiver apenas o dnsmasq padrão em execução, não será realmente necessário incluir a configuração da interface ou informar ao dnsmasq para não resolver nenhum IP para as interfaces que você excluir.
Então eu removi as configurações de "interface" e funcionou.