Resumindo: Se minha memória me atende corretamente. É para verificar as páginas 404 em seu site.
Resposta mais longa: as pessoas criam páginas 404 personalizadas e depois esquecem de alterar o código de status da página. No final, você retornará páginas 404 personalizadas com status de cabeçalho como 200 ok quando o bot do Google tentar acessar um URL inválido. Agora o bot tem que tomar uma decisão. Para auxiliá-lo nessa decisão, ele tenta atingir seu servidor com uma URL gerada aleatoriamente que tem uma alta probabilidade de não estar em seu site e verificar qual é a resposta do site quando solicitada por uma página não encontrada.
Como eu disse, não tenho 100% de certeza sobre isso.