Los 11 mejores consejos para evitar el bloqueo o la prohibición de IP en el web scraping

Ștefan Răcila el 07 Abr 2023

El web scraping es una potente herramienta para extraer datos valiosos de sitios web. Permite automatizar el proceso de recopilación de datos, lo que supone un gran ahorro de tiempo tanto para empresas como para particulares. Sin embargo, un gran poder conlleva una gran responsabilidad. Si no tiene cuidado, es posible que el sitio web al que está accediendo prohíba o bloquee su dirección IP.

En este artículo, compartiré 11 consejos detallados sobre cómo hacer scraping en Internet sin que te bloqueen o te incluyan en una lista negra. Siguiendo estos consejos, aprenderás a proteger tu identidad mientras haces scraping, a respetar las condiciones de servicio de los sitios web y a programar tus solicitudes para evitar abrumar al sitio web de destino con demasiadas peticiones.

¿Por qué te bloquean?

El web scraping no siempre está permitido porque puede considerarse una violación de las condiciones de servicio de un sitio web. Los sitios web suelen tener normas específicas sobre el uso de herramientas de web scraping. Pueden prohibirlo por completo o establecer restricciones sobre cómo y qué datos pueden obtenerse. Además, el scraping de un sitio web puede sobrecargar sus servidores, lo que puede ralentizar el funcionamiento del sitio para los usuarios legítimos.

El scraping de información sensible, como datos personales o financieros, puede plantear problemas. Hacerlo puede acarrear graves problemas legales, así como posibles infracciones de las leyes de privacidad y protección de datos.

Además, algunos sitios web también cuentan con medidas anti-scraping para detectar y bloquear a los scrapers. El uso del scraping puede considerarse un intento de eludir estas medidas, lo que también estaría prohibido.

En general, es importante respetar siempre las condiciones de servicio de los sitios web y asegurarse de que el scraping se realiza de forma ética y legal. Si no estás seguro de si el scraping está permitido, consulta siempre al administrador o al equipo legal del sitio web.

1. Respetar las condiciones de servicio del sitio web

Antes de escrapear un sitio web, es importante leer y comprender las condiciones de servicio del mismo. Normalmente se encuentran en el pie de página del sitio web o en una página separada de "Condiciones del servicio" o "Exclusión de robots". Es importante respetar las normas y reglamentos establecidos en las condiciones de servicio.

2. Preste atención al archivo "robots.txt

El Protocolo de Exclusión de Robots (REP) es un estándar utilizado por los sitios web para comunicarse con los rastreadores web y otros agentes automatizados, como los scrapers. El REP se implementa mediante un archivo llamado "robots.txt" que se coloca en el servidor del sitio web. Este archivo contiene instrucciones para los rastreadores web y otros agentes automatizados que les indican a qué páginas o secciones del sitio web no se debe acceder o indexar.

El archivo robots.txt es un simple archivo de texto que utiliza una sintaxis específica para indicar qué partes del sitio web deben excluirse del rastreo. Por ejemplo, el archivo puede incluir instrucciones para excluir todas las páginas de un determinado directorio o todas las páginas con un determinado tipo de archivo. Un rastreador web o scraper que respete la REP leerá el archivo robots.txt cuando visite un sitio web y no accederá ni indexará ninguna página o sección que esté excluida del archivo.

Como ejemplo, puede encontrar el archivo robots.txt de nuestro sitio web aquí.

3. Utilizar proxies

Hay varias razones por las que se puede utilizar un proxy en el web scraping. Un proxy le permite dirigir sus solicitudes a través de una dirección IP diferente. Esto puede ayudar a ocultar tu identidad y dificultar que los sitios web rastreen tu actividad de scraping. Al rotar tu dirección IP, se hace aún más difícil para un sitio web detectar y bloquear tu scraper. Parecerá que las solicitudes proceden de distintos lugares.

Eludir las restricciones geográficas

Algunos sitios web pueden tener restricciones geográficas, que sólo permiten el acceso a determinados usuarios en función de su dirección IP. Utilizando un servidor proxy que se encuentre en la ubicación de destino, puede saltarse estas restricciones y acceder a los datos.

Evite las prohibiciones de IP

Los sitios web pueden detectar y bloquear las solicitudes que llegan demasiado rápido, por lo que es importante espaciar las solicitudes y evitar enviar demasiadas a la vez. Utilizar un proxy puede ayudarte a evitar bloqueos de IP enviando solicitudes a través de diferentes direcciones IP. Incluso si una dirección IP es bloqueada, puedes continuar haciendo scraping cambiando a otra.

4. Rote su dirección IP

La rotación de IP es una técnica utilizada en el web scraping para ocultar su identidad y dificultar que los sitios web detecten y bloqueen su scraper. La rotación de IP implica el uso de una dirección IP diferente para cada solicitud realizada a un sitio web. Al rotar las direcciones IP, puede hacer que su actividad de scraping parezca más tráfico humano normal.

Hay dos formas principales de lograr la rotación de IP cuando se raspa:

Uso de un grupo de IP proxy

Este método consiste en utilizar un conjunto de direcciones IP de diferentes servidores proxy. Antes de hacer una petición a un sitio web, el scraper seleccionaría aleatoriamente una dirección IP del pool para usarla en esa petición.

Utilizar un servicio de rotación de proxy

Este método consiste en utilizar un servicio que rota automáticamente la dirección IP para cada solicitud realizada a un sitio web. El servicio mantendrá un grupo de direcciones IP y asignará automáticamente una dirección IP diferente a cada petición. Esta puede ser una forma más conveniente de rotar IPs ya que no necesitas gestionar el pool de IPs y puedes dejar que el servicio se encargue de esto por ti.

La rotación de IP también puede ayudar a acelerar el scraping, ya que las solicitudes pueden enviarse a través de varias direcciones IP simultáneamente.

5. Utilice un navegador sin cabeza

Para evitar restricciones en el web scraping, es necesario que sus interacciones con el sitio web de destino parezcan como si usuarios normales estuvieran visitando las URL. Una de las mejores formas de conseguirlo es utilizar un navegador web headless.

Un navegador headless es un navegador sin interfaz gráfica de usuario que puede controlarse mediante programación o a través de una línea de comandos. Esto te permite interactuar con un sitio web como si estuvieras navegando manualmente y puede aumentar las posibilidades de que tu scraper pase desapercibido.

Puede utilizar Puppeteer u otras suites de automatización de navegadores para integrar navegadores headless en su crawler o scraper.

Visite nuestras guías en profundidad sobre Cómo usar Puppeteer con NodeJS y Cómo usar Selenium con Python para obtener más información sobre el uso de navegadores sin cabeza.

6. Utilizar agentes de usuario reales

La mayoría de los navegadores online más populares, como Google Chrome y Firefox, incluyen el modo headless. Incluso si utiliza un navegador oficial en modo headless, debe hacer que su comportamiento parezca natural. Para ello, se suelen utilizar varias cabeceras de petición especiales, como User-Agent.

El agente de usuario es una cadena que identifica el software, la versión y el dispositivo que realiza la solicitud. Esta información puede ser utilizada por el sitio web para determinar cómo responder a la solicitud y también se puede utilizar para rastrear el origen de la solicitud. Si utilizas un agente de usuario que se asemeje a un navegador de uso común, aumentarás las posibilidades de que tu scraper pase desapercibido.

7. Utilice un servicio para la resolución de CAPTCHA

CAPTCHA (Completely Automated Public Turing test to tell Computers and Humans Apart) es una técnica utilizada por los sitios web para evitar el scraping automatizado. Esta prueba puede diferenciar entre humanos y bots mostrando retos que requieren ser completados por un humano. Por ejemplo, identificar una serie de caracteres en una imagen. Prepárese para manejarlos cuando aparezcan utilizando un servicio de terceros como Anti Captcha o 2Captcha.

Puede que quiera pensar si sigue siendo rentable raspar sitios web que necesitan una resolución de CAPTCHA continua en el tiempo. Algunos de estos proveedores de resolución de CAPTCHA son bastante lentos y caros. WebScrapingAPI dispone de mecanismos antibot avanzados que reducen el número de CAPTCHAs encontrados. También utilizamos la resolución automática de CAPTCHA como alternativa.

8. Desacelerar

No hagas scraping demasiado rápido, enviar demasiadas peticiones en un corto periodo de tiempo puede hacer que un sitio web detecte que lo estás haciendo. Esto podría bloquear tus peticiones. Es importante espaciar las solicitudes y evitar enviar demasiadas a la vez.

Añade retardos aleatorios entre tus peticiones y acciones. Harás que el comportamiento de tu crawler o scraper sea más impredecible para el sitio web objetivo, reduciendo las posibilidades de detección.

Evita raspar grandes cantidades de datos en poco tiempo. Raspar una gran cantidad de datos en poco tiempo activará los filtros de spam del sitio web y hará que te bloqueen. Por lo tanto, es importante escalonar el raspado y evitar raspar grandes cantidades de datos en poco tiempo.

9. Atención a las trampas Honeypot

En algunos sitios web se instalan trampas honeypot. Estos mecanismos pretenden atraer a los bots a las trampas mientras pasan desapercibidos para los usuarios reales.

Los enlaces que se incluyen en el código HTML de un sitio web pero que son invisibles para las personas son algunas de las trampas honeypot más elementales. Para determinar si un enlace es visible o no para los usuarios auténticos, es posible que desee comprobar su estilo computado.

Aquí hay un ejemplo de código con dos funciones que devolverán una lista con todos los enlaces visibles que hay en la página web. La función comprueba para cada enlace si el color de fondo es el mismo que el color del texto. También tiene un parámetro llamado strict. Que indicará a la función que compruebe si el enlace se muestra o si es visible porque no todos los enlaces que no se muestran son trampas honeypot.

function getComputedBackgroundColor(elem) {

    let isTransparent

    do {

        const bgColor = window.getComputedStyle(elem).backgroundColor

        isTransparent = !/rgb\(|[1-9]{1,3}\)'$/.test(bgColor) // you can test this regex on regex101.com



        if (isTransparent) {

            elem = elem.parentElement

        }

    } while (isTransparent)



    return window.getComputedStyle(elem).backgroundColor

}



function filterLinks(strict) { 

	let allLinksArray = Array.from(document.querySelectorAll('a[href]')); 

	console.log('There are ' + allLinksArray.length + ' total links'); 

    

	let filteredLinks = allLinksArray.filter(link => { 

		let linkCss = window.getComputedStyle(link); 

		let isDisplayed = linkCss.getPropertyValue('display') != 'none'; 

		let isVisible = linkCss.getPropertyValue('visibility') != 'hidden';

        let computedBgColor = window.getComputedBackgroundColor(link)

        let textColor = linkCss.textColor



        if (strict) {

            if (isDisplayed && isVisible && computedBgColor !== textColor) return link; 

        } else {

            if (computedBgColor !== textColor) return link; 

        }

	}); 

    

	console.log('There are ' + filteredLinks.length + ' visible links'); 

}

Normalmente, las trampas honeypot se utilizan en combinación con sistemas de rastreo que pueden identificar peticiones automatizadas. De este modo, aunque las solicitudes futuras no procedan de la misma IP, el sitio web podrá reconocerlas como similares.

10. Utilizar Google Cache

Google Cache es una función de la Búsqueda de Google que permite a los usuarios ver una versión en caché de una página web. Aunque el sitio web original no funcione o haya sido eliminado. Esta función puede resultar útil para el web scraping, ya que permite acceder a una página web incluso si el sitio web original bloquea la IP o el scraper.

Para acceder al valor almacenado en caché de una página web, debe añadir el prefijo "https://webcache.googleusercontent.com/search?q=cache:" a la URL de la página web de destino. Por ejemplo, para hacer scraping de la página de precios de WebScrapingAPI podría hacer scraping de "https://webcache.googleusercontent.com/search?q=cache:https://www.webscrapingapi.com/pricing".

El uso de la caché de Google puede ser una buena alternativa para el scraping, pero hay que tener en cuenta que puede ser limitada. Podría tener versiones antiguas de los datos del sitio web. La frecuencia con la que Google rastrea un sitio web se basa en la popularidad, por lo que los datos podrían estar muy desactualizados en sitios no tan populares.

Otras advertencias podrían ser que realmente no se pueden utilizar parámetros de consulta o anclas para la página web de destino. Además, algunos sitios web pueden indicar activamente a Google que no almacene sus páginas en caché.

11. Contratar a un profesional

Contratar un servicio de scraping profesional puede ayudarle a evitar los errores comunes del scraping y proporcionarle datos limpios y fiables. WebScrapingAPI es uno de los mejores proveedores de scraping que cuenta con la infraestructura, el ancho de banda y el sistema de rotación de IP necesarios para gestionar trabajos de scraping a gran escala.

Tenga en cuenta que estos consejos son directrices generales y no una garantía para evitar ser bloqueado. Cada sitio web es diferente y tiene políticas anti-scraping distintas. Pero seguir estos consejos te ayudará a aumentar las posibilidades de que tu scraper funcione sin problemas y sin ser detectado.

Resumen

En conclusión, es importante hacer web scraping de forma responsable para evitar ser bloqueado o incluido en una lista negra. Si sigues los 11 consejos descritos en este artículo, protegerás tu identidad. Respetarás las condiciones de servicio del sitio web y evitarás abrumarlo con demasiadas solicitudes. Recuerda que siempre debes hacer scraping de forma ética y legal. Esta puede ser la forma de asegurarte de que los sitios web no te bloqueen.

Además, merece la pena considerar la posibilidad de recurrir a un servicio profesional de scraping. Pueden proporcionarle datos limpios y fiables y ayudarle a evitar los errores comunes del scraping. Un proveedor de servicios de scraping profesional dispone de herramientas y técnicas más avanzadas para gestionar el scraping web. Dichas herramientas pueden ayudarle a lidiar con CAPTCHA, gestionar errores y eludir las medidas anti-scraping. Pueden ahorrarle tiempo y dinero, y ayudarle a mantenerse en el lado correcto de la ley.

Dicho esto, WebScrapingAPI tiene un período de prueba de 7 días, sin necesidad de tarjeta, es posible que desee darle una oportunidad.