IPtables não pode fazer isso. IPTables não pode ver o rtt de um pacote. Um pacote UDP padrão não contém um registro de data e hora de quando foi enviado, além disso, você não pode ter certeza de que o relógio desse cliente está em sincronia com o seu próprio.
Seu aplicativo teria que lidar com isso enviando um pacote ao cliente com um timestamp incorporado, aguardando a resposta do cliente e comparando o registro de data e hora com o horário atual. Esse nível de comportamento está além do IPTables.