O UDP é um protocolo de transporte que depende do IP. O IP requer certas traduções (tabela ARP) para enviar para uma rede. Se você quiser usar o UDP, os dois lados precisam entender os protocolos até o UDP. O próprio UDP não tem conhecimento de nenhuma parte física da rede (você pode executar UDP / IP ou TCP / IP em outras arquiteturas, como Infiniband, onde não há endereços MAC). Os próprios cartões fazem alguma filtragem para endereçamento MAC como ele é (seu cartão aceitará apenas transmissões ou pacotes especificamente destinados à sua placa - o switch possui tabelas de encaminhamento que também mapeiam MAC para a porta para garantir que os pacotes vão para a porta apropriada) .
Lembrete - IPs e endereços MAC não são os mesmos - se você quiser limitar por IP, como você sugere no final da sua pergunta, então você pode usar algum tipo de firewall IP e apenas definir regras para permitir que tráfego IP você deseja permitir entrar / sair do seu PC.