O IPTables não oferece suporte à resolução de DNS imediata, porque envolve problemas de segurança, desempenho e implementação.
Se alguém conseguisse modificar os registros DNS do seu domínio, isso afetaria as regras do IPTables.
Se o IPTables fizesse uma pesquisa de DNS em cada pacote de entrada ou mesmo pacote de inicialização de conexão, seria muito lento.
Além disso, se houver vários registros A para um nome de domínio, qual deles o IPTables usaria?
Para realizar o que você está procurando, é necessário implementar um sistema no qual o host que executa o IPTables verifique periodicamente qual é o endereço IP do seu nome de host dinâmico e, em seguida, altere suas regras de acordo.
Outra alternativa seria ter um software em seu computador em sua rede doméstica, que monitora o endereço IP público atual e, em seguida, envia-o ao seu servidor IPTables, que reconfigura o IPTables.
Não conheço nenhum software específico que possa fazer isso para você.