Eu não sabia a resposta à sua pergunta, pois depois de gerenciar mais de 5000 estações de trabalho de usuários e 30 servidores sem o AD, eu sinto que qualquer rede com mais de duas estações de trabalho precisa de AD,; foi e olhou.
Os requisitos do ADFS na Technet dizem :
Domain Requirements
- All AD FS servers must be a joined to an AD DS domain.
- All AD FS servers within a farm must be deployed in a single domain.
- The domain that the AD FS servers are joined to must trust every user account domain that contains users authenticating to the AD FS service.
Então ... desculpe. Parece que sim, seu servidor deve estar em um domínio.