Camtasia é um programa de captura de tela, então o que você obtém é uma imagem rasterizada. A resolução da imagem depende da resolução da tela que você está usando. Meu palpite é que o google usou desenhos vetoriais das telas para os vídeos.
Mas o que você pode fazer para melhorar a qualidade do zoom é aumentar o que está na tela antes de capturá-lo pressionando Ctrl +. Se você capturar o conteúdo ampliado, ele terá uma resolução muito melhor. Em outras palavras, amplie o conteúdo da tela antes de capturá-lo.