Algumas coisas para entender aqui. O Office 365 oferece algumas maneiras diferentes de você poder se autenticar por meio dele.
Como padrão, será Somente nuvem onde as contas existem apenas no Office 365. Os nomes de usuário e senhas são criados pelos administradores e mantidos separadamente de qualquer outra identidade que o usuário possa ter.
O Azure AD Connect permite sincronizar as identidades para que os metadados (nome de usuário, nome de exibição, e-mail) correspondam ao Office 365. O Azure AD Connect também tem a opção de sincronizar as senhas em uma versão com hash de seus usuários a senha do AD será sincronizada com o AD do Azure em que o Office 365 é executado.
Isso dará aos usuários uma experiência de "Logon semelhante", pois não registrará automaticamente o usuário no Office 365 quando eles já estiverem conectados ao AD em seus computadores, mas as credenciais são as mesmas, portanto, faz mais fácil para o usuário.
Em seguida, temos as opções Single Sign-On, aqui o conceito é que o usuário efetue login apenas uma vez, quando tiver logado na máquina, o token que a máquina já possui com o AD será usado e registrará automaticamente o usuário para serviços como o Office 365 sem a necessidade de o usuário digitar credenciais.
Com o ADFS, você pode obter o Single Sign-On. Para que o ADFS funcione com o Office 365, é absolutamente necessário que você execute o Azure AD Connect (DirSync) e que suas credenciais locais correspondam às sincronizadas com a nuvem.
Você informará ao Office 365 que o domínio está federado. Isso basicamente diz que, quando um usuário tenta efetuar logon no Office 365, não é o Azure AD que deve perguntar, mas redirecionará o usuário para o servidor ADFS e autenticará lá. , o servidor ADFS informará ao Office 365 que o usuário está autenticado e permitirá que o usuário efetue login.
Se você remover o ADFS, mas manter o Azure AD Connect, poderá ter uma experiência de Logon semelhante (embora seja possível fazer Logon único com o versão mais recente do Azure AD Connect )
Para remover o ADFS desta configuração, você precisa Converter seus domínios federados no Office 365 para Domínios Gerenciados
Espero que isso ajude na compreensão da configuração e responda suas perguntas.
Editar
Apenas percebi que perdi parte da sua pergunta.
Você pode verificar facilmente se o Office 365 tenta federar um domínio por meio do ADFS. Se você acessar o link e digitar algo@domínio.tld e os acessos entrar, ele verificará se o domínio, neste caso domínio.tld é federado, se for ele redirecionará seu login para a página de login do ADFS, caso contrário, ele permanecerá no Office 365.
Se estiver no Office 365, você poderá remover os servidores do ADFS (pelo menos do ponto de vista do Office 365, se você se autenticar com outros provedores, precisará verificar com eles também).