Você deve reunir alguns dados perfmon para ver se o servidor está sob carga pesada e se a carga é distribuída entre os servidores do AD FS. Os balanceadores de carga que estão configurados incorretamente (por exemplo, sessões fixas) podem causar mais tráfego para um servidor do que outros no farm.
Dependendo dos dispositivos usados para se conectar ao Exchange Online, você poderá ver mais tráfego de autenticação. Sempre que uma conexão é interrompida e uma nova conexão é estabelecida, o Exchange pode solicitar credenciais ao usuário. Você pode não vê-lo se você clicou na opção de salvar senha.Nesse momento, um logon será feito no AD FS usando essas credenciais.
A propósito, a duração do token para a plataforma de autenticação O365 é de 1 hora por padrão. Não 8 horas. Esse token de 1 hora é útil para aplicativos passivos (ou seja, baseados em navegador) que usam cookies para a sessão. Eles não vão ajudar neste caso quando novas conexões são constantemente estabelecidas por dispositivos (como clientes de email em telefones / tablets).