Eu experimentei exatamente o mesmo problema e o resolvi com sucesso recentemente.
Sim, isso é causado por server.app. Para ser exato, é devido a você ter vinculado o seu Xcode ao seu server.app
Para ver como o Xcode está vinculado ao seu server.app: open server.app, na barra lateral esquerda, em "services", encontre "Xcode". (Desculpe, mas eu não tenho privilégio de postar fotos aqui)
Desta forma, o seu servidor está executando o Xcode em segundo plano e, portanto, o prompt quando você tenta desligar o seu computador. Usar a interface da linha de comando para fechar não alteraria a situação.
Curiosamente, quando você "Escolhe o Xcode para começar" aqui, não há opção de desconectar o Xcode aqui. Desligar no canto superior direito não ajudaria, mesmo desinstalar o server.app completamente também não ajudaria.
Felizmente, a solução é tão fácil quanto dois comandos:
sudo xcrun xcscontrol --shutdown
sudo xcrun xcscontrol --reset
Veja como eu encontrei isto: Examinei o Activity Monitor em busca de processos com nomes de usuários suspeitos e observei um usuário chamado "_xcscouch". Por pesquisa "xcscouch mac", encontrei a seguinte resposta e resolveu o meu problema. Eu instalei o Server.app no Yosemite para ativar o cache, mas vejo muitos processos do servidor no Gerenciador de Tarefas (processos _xcsbuild e _devicemgr e _calendar)
Eu tive o mesmo problema no meu macbook air e no meu mac mini e resolvi os dois. Eu posso reproduzir o problema e confiantemente resolvê-lo imediatamente.