Depois de procurar nos fóruns de suporte da Apple, encontrei um link para um artigo de David LeBer sobre este assunto:
According to posts in Apple’s OS X Server forum (here, here, and the tail end of here) it looks like this nasty problem involves either servermgrd and/or DirectoryService. The number of open reference continuously grows until it renders your server unusable – usually not considered a good thing.
Ele fornece algumas dicas para fóruns de discussão e um "bandaid" por meio de um script que procura o infame aviso "Potential VM" nos logs do servidor e reinicia o serviço afetado.
Para perguntas futuras, seria mais fácil ajudá-lo se você fornecer mais detalhes sobre a plataforma que está executando: versão do SO, funções do servidor, número de usuários, simultaneidade ...