Os grupos definidos com a sintaxe @group no arquivo limits.conf podem corresponder a grupos definidos em qualquer back-end de banco de dados do grupo, ou seja, arquivos ( /etc/group ), nis , ldap e qualquer outro nsswitch.conf pode suportar.
Atribuir um grupo a uma entrada de usuário ldap não é feito localizando sua entrada em algum lugar na hierarquia (como em ou=student em sua pergunta), mas definindo entradas de grupo e preenchendo-as, ou seja, adicionando-as como secundárias grupos para usuários. Isso não é realmente diferente do que você faria com os arquivos locais ( /etc/passwd & /etc/group ), é apenas onde as informações são armazenadas e como isso é feito, o que muda.