Você pode permitir que programas específicos (não usuários) abram portas privilegiadas:
setcap 'cap_net_bind_service=+ep' /path/to/executable
Quanto a restringir o acesso a determinadas portas, consulte Permitir / Negar que um usuário vincule um intervalo de portas .