Ao configurar um cron, você deve ter em mente muitas coisas
1.O usuário para o qual você está tentando definir o cron deve ter permissões sobre o script, ou seja, permissão executável
chmod +x /path/to/scrapy
2.O outro aspecto importante é garantir que o script execute manualmente a ação pretendida.
3.Certifique-se de que as variáveis do ambiente são como a maneira como o seu script requer, por exemplo, defina a variável de ambiente anexando as seguintes linhas
PATH=/usr/local/sbin:/usr/sbin:/sbin:/usr/local/bin:/usr/bin:/bin
export PATH
4.Se o cron ainda não executar, verifique os registros do cron, que tipo de erros ele mostra.
5.Tente registrar a saída do seu script em um log usando as seguintes linhas no cron
@daily /bin/sh /home/vaibhav/applications/comparison/scrapy > /mylog.log
6. Tanto quanto eu posso ver, deve ser um script de shell, então você deve defini-lo assim no cron job, dando o caminho completo para o sh binário e o scrpay deve estar no arquivo .sh.
@daily /bin/sh /home/vaibhav/applications/comparison/scrapy.sh