Há largura de banda do seu servidor e largura de banda do roteador. Seu servidor estará enviando dados o mais rápido possível para colocá-lo no fio da sua interface (blocos UDP, quando o buffer de soquete no servidor está cheio).
Até onde eu sei, o roteador estará descartando pacotes em excesso (como exatamente eles serão selecionados depende do sistema operacional do roteador) quando os buffers estiverem cheios. Seu aplicativo precisa lidar adequadamente com pacotes perdidos ou implementar alguma lógica para controlar o fluxo de pacotes (não há feedback em caso de perda de pacotes - o UDP é um transporte não confiável ).
SCTP pode ser uma alternativa melhor se for uma opção aceitável.