Resposta curta: Não.
Resposta mais longa: parece que você está perguntando sobre como restringir quem pode se conectar à própria porta TCP, e isso está bem abaixo do nível em que você tem conceitos como "usuários", "autenticação" e "autorização" - todos as coisas que você precisa para conseguir o que você está pedindo. Neste nível você tem apenas computadores e redes.
Se o seu aplicativo tiver algum tipo de mecanismo de autenticação, esse é o lugar para esse tipo de coisa.
O que você pode fazer neste nível é limitar os endereços IP ou intervalos de IP que podem se conectar a essa porta através do seu firewall. Isso pode atingir o mesmo objetivo final, mas não se baseia em "usuários" ou "grupos", mas sim em "onde" eles estão se conectando.
Como alternativa, você pode configurar uma VPN que permita que somente usuários autorizados se conectem a ela e permitir que apenas os usuários da VPN se conectem ao seu programa. Se essa é a rota que você deseja seguir, é necessário usar alguns guias de configuração no Google, pois "Como configurar uma VPN" está além do escopo de um site Q & A simples como este.