Você pode fazer isso usando o módulo geo. Isso só permitirá que o ip 1.1.1.1 e 2.2.2.2 acessem o terminal. Você poderia inverter a lógica para permitir todos os ips e negar apenas alguns.
geo $trusted_user {
default 0;
1.1.1.1 1;
2.2.2.2 1;
}
server
{
if ( $trusted_user ~ 0 ) { return 444; }
}