Como Timothy Baldwin sugeriu, o filtro deveria estar na cadeia FORWARD. O parâmetro length não funciona na carga UDP ou no tamanho do pacote, mas no comprimento do pacote IP naturalmente
Portanto, o comando que funciona é iptables -A FORWARD -p udp --dport 50000:60000 -m length --length 28 -j DROP
, em que o comprimento é de 20 bytes para o IP e 8 para o cabeçalho UDP