Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Agrega informacion meta a las spider. #31

Open
matiskay opened this issue Aug 16, 2015 · 3 comments
Open

Agrega informacion meta a las spider. #31

matiskay opened this issue Aug 16, 2015 · 3 comments

Comments

@matiskay
Copy link
Contributor

Con el fin de rastrear los items scrapeados por una spider sugiro agregar la siguiente informacion a cada spider.

  • page_number
  • spider_name
  • crawled_at

Por ahora esos campos serian utiles.

@aniversarioperu
Copy link
Member

cada vez que activo un spider se va guardando el output en un log, usando import logging.

talvez esa metadata se puede poner en el logging?

@matiskay
Copy link
Contributor Author

@aniversarioperu, estos datos deben ser parte del item. Esta informacion sirve para debugear la spider y ubicar donde se encuentra el item buscado. Ademas, tambien puede servir para hacer busquedas mas rapidamente en los sitios de visitas si se encuentra algo revelados.

@matiskay matiskay reopened this Aug 19, 2015
@matiskay
Copy link
Contributor Author

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants