Você precisa adicionar um pid_file e um sig_num ao dnsmasq.conf da seguinte forma:
# logfilename [owner:group] mode count size when flags [/pid_file] [sig_num]
/var/log/dnsmasq.log nobody:admin 640 5 10000 * Z /var/run/dnsmasq.pid 31
sig_num 31 é SIGUSR2 que informará ao dnsmasq para fechar e reabrir seu arquivo de log.