Seu primeiro para está correto. Não há conexão, embora alguns mecanismos IP usem endereço de origem / porta e endereço / porta de destino para fornecer uma aproximação baseada em sincronicidade ao estado.
A recusa é tratada com o ICMP, geralmente com porta ICMP inacessível (tipo 3, subtipo 3).
Seu último par também está correto; Cabe ao seu aplicativo garantir que os dados transmitidos por UDP sejam sequenciados corretamente.