O tempo até o primeiro byte é, estritamente falando, uma medida do lado do cliente.
Você pode se beneficiar de Rastreamento de Solicitações com Falha embora, ou para uma visão mais detalhada das operações de pilha de rede no servidor web, Rastreio WinHttp