¿Por qué yo?
Los sitios web están diseñados para humanos (en términos generales) y, si uno detecta un bot extraño, como un web scraper, lo más probable es que lo bloquee. Así que la pregunta es: ¿cómo rastreó el sitio web a tu robot?
Para que un sitio te bloquee, primero tiene que identificar al bot, y lo hace vigilando cualquier comportamiento de navegación inusual.
Los web scrapers son más rápidos que cualquier humano, ese es su atractivo, pero a menudo también es la prueba irrefutable. Si le encargas al bot que extraiga diez páginas de un sitio web, terminará el trabajo en menos tiempo del que te llevó a ti dar la orden. Todo lo que el sitio web tiene que hacer es ver que una sola IP envió diez solicitudes más rápido de lo que cualquier humano podría y identificará al bot.
También hay otras formas, siendo la más conocida:
- Huella digital del navegador
- Huella digital TLS
- Comprobación de la IP en listas de proxies conocidos
Existen también otras contramedidas contra los rastreadores web, como los CAPTCHA, pero estas están más orientadas a detener comportamientos sospechosos que a detectarlos.
Cómo evitar el bloqueo de IP
Lo curioso de evitar los bloqueos de IP es que cuantas más IP tengas, menos probable es que alguna de ellas sea detectada. Y, por supuesto, si algunas de ellas siguen siendo bloqueadas, aún te quedarán muchas.
Así pues, tu primer paso es contar con un buen conjunto de proxies. Para ello, necesitarás un proveedor de proxies fiable, ya que es la opción más rentable. En lugar de comprar direcciones IP, solo pagas una cuota mensual y obtienes acceso a cientos de miles o incluso millones de direcciones IP.
Además del gran volumen de proxies, también tendrás que fijarte en la composición del conjunto de proxies. Algunas direcciones IP son más llamativas que otras, mientras que algunos sitios web son más perspicaces. Podrías usar proxies premium para todo tu scraping, pero eso sería un derroche, ya que los mejores proxies cuestan más dinero.
Lo importante es que tengas acceso a todas las herramientas que puedas necesitar y los conocimientos para elegir la adecuada para cada situación.
La última pieza del rompecabezas es la rotación de las direcciones IP que utilizas. Usar el mismo proxy conduce al problema que hemos presentado anteriormente: una sola dirección IP realizando solicitudes demasiado rápido para ser humana. Pero, con tu conjunto de proxies a mano, puedes enviar cada solicitud desde una fuente diferente. El sitio web ya no ve a un usuario hiperactivo, sino a diez usuarios diferentes navegando casi al mismo tiempo.
Esta ha sido una breve descripción general de lo que debes tener en cuenta. Ahora, veamos con más detalle qué tipo de proxies debes conseguir y cómo utilizarlos de la mejor manera.
Encuentra el disfraz adecuado
Hay muchos proxies diferentes entre los que elegir y muchos criterios a tener en cuenta. Al principio, el tema puede parecer muy complicado y quizá te apetezca tirar la toalla, ¡pero aguanta! Dominarás los conceptos básicos con solo leer un artículo interesante, informativo y sencillo, ¡como este!
En primer lugar, hablemos del anonimato, el principal atractivo de las IP de proxy. Para empezar, no es algo garantizado: algunos proxies no intentan ocultar tu IP real, sino que actúan como intermediarios y nada más; a estos se les llama proxies transparentes. Cuando se realiza una solicitud a través de una IP de este tipo, uno de los encabezados notificará al sitio web que, de hecho, se trata de un proxy, mientras que otro enviará tu dirección real.
A continuación, el simple hecho de que utilices un disfraz no significa automáticamente que estés engañando a nadie. Los proxies anónimos ocultan tu dirección real, pero no el hecho de que son proxies. El encabezado de la solicitud es lo que te delata de nuevo. El sitio no sabrá quién eres ni dónde estás, pero sabrá que alguien lo está visitando con una IP.
Por último, existen los proxies de alto anonimato, también llamados «de élite». Estos son los auténticos, ya que no solo mantienen tu identidad en secreto, sino que además evitan anunciarse como proxies. No nos malinterpretes, un webmaster decidido identificará todos los proxies, por muy bueno que sea el disfraz, pero los proxies de élite siguen ofreciendo la mejor oportunidad de pasar desapercibido.
Para el web scraping, generalmente hay dos tipos de proxies anunciados: de centro de datos y residenciales. Ambos tipos de IP ocultan tu dirección real; la diferencia radica más en su naturaleza.
Los proxies de centro de datos son IP basadas en la nube sin ubicación real. Construidos sobre una infraestructura moderna, estos proxies son bastante económicos y puedes acceder a unos cuantos miles sin arruinarte. Además, las IP de centros de datos utilizan una buena conexión a Internet, por lo que podrás extraer datos más rápido que con otros tipos de proxies. La desventaja es que, al carecer de una ubicación real y compartir subred (parte de la IP es la misma para todos los proxies de la misma «familia»), las IP de centros de datos son más fáciles de detectar y, por consiguiente, de bloquear.
Los proxies residenciales pueden considerarse la opción de alta calidad porque son direcciones IP reales, proporcionadas por proveedores de servicios de Internet reales y con ubicaciones físicas reales. En resumen, son prácticamente indistinguibles de los visitantes habituales. Un conjunto de proxies debe contar con direcciones IP residenciales de tantas ubicaciones diferentes como sea posible para garantizar buenas velocidades y acceso a contenido con restricciones geográficas. Al ofrecer los mejores resultados, no es de extrañar que los proxies residenciales también tengan precios más elevados.
Cubre tus huellas
Si un proxy hace bien su trabajo, parecerá que la IP de tu bot es su dirección real. Eso está muy bien, pero un proxy no puede ocultar la forma en que funcionan los bots, que es muy rápida. Así que con un único proxy de alta calidad, tu bot solo conseguirá que se bloquee la IP del proxy y volverás al punto de partida.
Si dispones de varios proxies, puedes cambiar a uno diferente con cada solicitud, de modo que la actividad de un bot «entusiasta» parezca un enjambre de usuarios distintos. Si todo va bien, ninguna de las IPs será bloqueada y el web scraper hará su trabajo.
Puedes cambiar de proxy manualmente, pero el proceso es largo y frustrante, justo lo contrario de lo que debería ser el uso de robots. Por eso, la mayoría de las herramientas de web scraping que se precien cuentan con funciones de rotación automática de proxies.
En el caso de WebscrapingAPI, funciona así: cada solicitud que realizas para cada página web se realiza automáticamente a través de una IP diferente. Incluso si extraes datos de la misma página cien veces, el sitio web lo registrará como cien visitantes diferentes accediendo a la página.
En algunos casos, es posible que realmente quieras que el sitio web te reconozca. En esa situación, solo tienes que modificar un parámetro en tu solicitud y utilizarás la misma IP al volver a visitar una página.
La rotación de tus proxies es totalmente necesaria si quieres extraer datos de varias páginas del mismo sitio web. La rotación automática de proxies está pensada para que el proceso sea fácil y sin complicaciones.
Palabras de tranquilidad
No hay por qué alarmarse cuando un rastreador web es bloqueado por un sitio web, ya que, siempre que no se infrinjan los derechos de autor, eludir la restricción no significa que se esté haciendo algo ilegal. Afortunadamente, la rotación de IP es una solución rápida y eficaz para los rastreadores bloqueados de todo el mundo.
Para empezar a scrapear sin problemas, prueba nuestro plan gratuito y disfruta de 1000 llamadas a la API sin compromiso.
