Blog
Análisis en profundidad de la infraestructura de datos web, las técnicas de extracción y el futuro de los datos estructurados a gran escala.
156 artículos
TL;DR: Crea un recopilador de navegadores con un indicador de preparación explícito, registros validados y condiciones de finalización fiables. Descubre cuándo es preferible la extracción del DOM a las capturas de pantalla y al OCR.
TL;DR: Compara mitmproxy, Fiddler Everywhere, HTTP Toolkit y Proxyman en función de las tareas de depuración. Realiza una prueba controlada para verificar la captura de datos, el intercambio de pruebas y la limpieza de certificados.
TL;DR: Compara Octoparse, Browse AI, Apify y Scrapy en función de quién se encargue de la extracción y las necesidades de entrega. Crea un proyecto piloto que compruebe la exhaustividad, la actualidad y la preparación para la migración.
TL;DR: Diseña un recopilador de sitios web, desde la definición de los registros hasta la entrega verificada. Delimita el alcance de las fuentes, elige un modelo de ejecución, valida las observaciones y recupera las ejecuciones incompletas.
TL;DR: PhantomJS dejó de desarrollarse en 2018. Elige un sustituto en función de lo que hiciera tu script, asigna las llamadas a PhantomJS a Playwright o Puppeteer y elimina las dependencias antiguas.
TL;DR: En resumen: La elección adecuada depende de si el cuello de botella de Scrapy es el renderizado, el bloqueo, la compatibilidad con el lenguaje o las operaciones. Mantén o amplía los rastreadores que funcionen bien siempre que sea posible; utiliza herramientas de navegador para páginas interactivas, plataformas alojadas para operaciones, pilas ligeras para tareas estáticas delimitadas y API gestionadas cuando la infraestructura de solicitudes sea la limitación. Valida la lista de opciones preseleccionadas con un modelo de costes y una prueba de concepto representativa.
Empieza a crear
Únete a más de 2000 empresas que utilizan WebScrapingAPI para extraer datos de la web a escala empresarial sin ningún gasto de infraestructura.
