Como analisar logs continuamente atualizados contendo dados XML?

Question

Adicionada a mesma pergunta no pastebin: link (Vejo algumas tags xml faltando aqui ao colar)

Eu tenho um requisito para ler a partir de um registro em execução contínuo que é atualizado em milissegundos, porque milhares de pessoas estarão acessando a cada minuto. Minha exigência é:

Suponha que haja uma solicitação xml assim:

<dataReq>
  <id>1</id>
  <name>test</name>
  <reqId>ddaabyy234</reqid>
   ....
   ...
   ....
</dataReq>

E a resposta para a solicitação acima é:

<dataRes>
   <id>1</id>
   <dept>railway</dept>
   <reqId>ddaabyy234</reqid>
   .......
   .......
   <errcode>
       <errNum>404</errNum>
   </errcode>
 </dataRes>

Se o <errNum> não for 200 , eu preciso capturar <dataReq>..</dataReq> e <dataRes>..</dataRes>

O problema aqui é que pode haver várias tags <dataReq>...</dataReq> . Porque, para gerar uma resposta, levará algum tempo para os sistemas de back-end e, enquanto isso, muitos usuários enviarão suas solicitações de aplicativos webUI (ou) móveis (ou) para o mesmo aplicativo.

O registro também será arquivado em arquivos arquivados a cada 5 minutos, pois o arquivo de registro estará crescendo de tamanho a cada 5 minutos.