Você pode usar awk para fazer a contagem. Embora, se nada mais complicado envolvido, você pode usar
tail -f output.log | awk '/Thread started/{n++}/Thread finished/{n--} END { printf ("%d Threads are running\n", n)}' output.log
Melhor ainda, use watch da seguinte forma:
watch -n.2 -x awk '/Thread started/{n++}/Thread finished/{n--} END { printf ("%d Threads are running\n", n)}' output.log
O -n.2 atualizará todos os 0.2s , conforme exibido na parte superior da tela.