Integración simple del lado del servidor
Begin with api_key and a URL-encoded url. Add method, location, rendering, response, or asynchronous options only when the workload requires them.
API de scraping
Scraper API para páginas web públicas
Envía una URL y recibe HTML, JSON o campos seleccionados. Gestionamos proxies, reintentos y renderizado JavaScript opcional para que te centres en tu aplicación.
- api_key + urlSolicitud válida más pequeña
- Enrutamiento administradoRotación por representación y manejo de acceso
- render_js opcionalRenderado del navegador cuando sea necesario
- Cuerpo · JSON · selectoresLas opciones de respuesta documentadas
Una solicitud gestionada
Obtén páginas sin gestionar la infraestructura de acceso
Manejo de acceso gestionado
WebScrapingAPI operates proxy routing, rotation, access-handling strategies, and internal target retries behind the API request.
Review managed featuresLas opciones de respuesta documentadas
Return the page body, a JSON envelope, a JSON DOM, customer-defined selected fields, or an explicit documented error state.
Review response formatsSu solicitud proporciona:Target URL + request context
WebScrapingAPI operaRouting + access handling + rendering
Su solicitud es recibida .Body + JSON + selected fields
Características de acceso automatizado
Mover el trabajo de recuperación repetible detrás de una solicitud API de scraping.
Configure el contexto que necesita su flujo de trabajo. WebScrapingAPI opera la infraestructura de acceso de soporte mientras mantiene los estados fallidos visibles para su cliente.
01
Enrutamiento y rotación por proxy
El servicio selecciona y opera la ruta de proxy detrás de cada contexto de solicitud soportado.
02
Manejo y retensos de acceso
Las estrategias de acceso automatizadas y los intentos internos target reducen la infraestructura que su aplicación tiene que ejecutar.
03
Resultados de acceso observables
Los errores de validación, acceso, tarifa y servicio siguen siendo explícitos para que su aplicación pueda manejar deliberadamente las solicitudes fallidas.
04
Rendering de JavaScript opcional
Se ha establecido render_js=1 Cuando el target necesita ejecución del lado del cliente antes de que se devuelva la respuesta de la página.
05
Contexto de la solicitud geográfica
Solicitar un país documentado y un contexto de ciudad, estado o ASN apoyado cuando la ubicación afecte a la respuesta.
06
Control de solicitud y salida
Utilice métodos soportados, un cuerpo opcional, tiempo de espera, recuperación asincrona, modos JSON o reglas de extracción.
Diseño de respuesta
Retorna el nivel de respuesta que puede utilizar tu flujo de trabajo.
Mantenga el cuerpo de la página, envuélvelo con metadatos de solicitud, ejecute selectores en el límite de la API o obtenga un resultado en cola más tarde.
Respuesta de la página en bruto
Utilice el cuerpo de página predeterminado con un parser existente.
Envase de JSON
Organismo de inspección, target encabezados, estado inicial, tipo, costo y metadatos.
Los campos seleccionados
Ejecutar CSS o XPath selectores de propiedad del cliente para texto, HTML, atributos, tablas o registros anidados.
Recuperación en fila
Envía el trabajo de forma asíncrona y recupera la respuesta completada utilizando su identificador.
Límites de extracción:WebScrapingAPI ejecuta las reglas proporcionadas. Su equipo posee el esquema, selectores, validación de campo de negocio y mantenimiento de cambio de fuente. Elige API de datos o Datos gestionados cuando esas obligaciones se trasladen a WebScrapingAPI.
Cómo funciona
De la solicitud al resultado
- 01Envía la solicitud
Proporcione la clave de API, target URL, y solo el contexto documentado o las opciones de salida que la carga de trabajo necesita.
- 02WebScrapingAPI recupera la página
El servicio valida la solicitud, opera el enrutamiento proxy, aplica el manejo de acceso y los intentos internos, y hace renderizar JavaScript cuando se lo solicita.
- 03Recibir la respuesta
Utilice el cuerpo de la página devuelta, el sobre JSON, los campos seleccionados o el error documentado dentro de su aplicación existente.
- Metadatos de la solicitud
- Las URL resueltas y los encabezados de respuesta desglosados están disponibles a través de encabezados de respuesta documentados.
- Contexto de uso
- El uso del crédito por llamada y el uso actual se pueden inspeccionar a través de los encabezados documentados prefijados por la WSA.
- Contrato de error
- Los errores de validación, acceso, tasa y servicio siguen siendo entradas explícitas para el manejo del lado del cliente.
Integración de desarrolladores
Conecta desde tu servidor
Mantenga la clave API en el lado del servidor, codifique la URL target, comience con una solicitud básica y añada renderización, geografía o extracción solo cuando la carga de trabajo lo requiera.
01 · resumen de integración
Comience con la petición más pequeña válida.
Envía api_key y una URL codificada url - Añadir . render_js=1, contexto geográfico, modo de respuesta o reglas de extracción sólo cuando las target y el flujo de trabajo aguas abajo lo requieren.
- Los secretos
- Mantenga .
WSA_API_KEYserver-side - Target
- Encuentra la dirección de cada URL target
- Respuesta
- Inspeccionar el estado y el tipo antes de analizar
- Los fracasos
- Utilice el backkoff limitado para estados retriebibles
curl --get --fail-with-body --max-time 120 \
"https://api.webscrapingapi.com/v2" \
--data-urlencode "api_key=$WSA_API_KEY" \
--data-urlencode "url=https://example.com/public-page" \
--data-urlencode "json_response=1"import os
import requests
response = requests.get(
"https://api.webscrapingapi.com/v2",
params={
"api_key": os.environ["WSA_API_KEY"],
"url": "https://example.com/public-page",
"json_response": 1,
},
timeout=120,
)
response.raise_for_status()
print(response.json())const params = new URLSearchParams({
api_key: process.env.WSA_API_KEY,
url: "https://example.com/public-page",
json_response: "1",
});
const response = await fetch(
"https://api.webscrapingapi.com/v2?" + params,
{ signal: AbortSignal.timeout(120_000) }
);
if (!response.ok) throw new Error("API status " + response.status);
console.log(await response.json());<?php
$query = http_build_query([
"api_key" => getenv("WSA_API_KEY"),
"url" => "https://example.com/public-page",
"json_response" => 1,
]);
$client = curl_init("https://api.webscrapingapi.com/v2?" . $query);
curl_setopt_array($client, [
CURLOPT_RETURNTRANSFER => true,
CURLOPT_TIMEOUT => 120,
]);
$body = curl_exec($client);
$status = curl_getinfo($client, CURLINFO_RESPONSE_CODE);
$error = curl_error($client);
curl_close($client);
if ($body === false) throw new RuntimeException($error);
if ($status >= 400) throw new RuntimeException("API status " . $status);
echo $body;package main
import (
"fmt"
"io"
"net/http"
"net/url"
"os"
"time"
)
func main() {
params := url.Values{}
params.Add("api_key", os.Getenv("WSA_API_KEY"))
params.Add("url", "https://example.com/public-page")
params.Add("json_response", "1")
client := &http.Client{Timeout: 120 * time.Second}
response, err := client.Get(
"https://api.webscrapingapi.com/v2?" + params.Encode(),
)
if err != nil { panic(err) }
defer response.Body.Close()
if response.StatusCode >= 400 {
panic(fmt.Sprintf("API status %d", response.StatusCode))
}
body, err := io.ReadAll(response.Body)
if err != nil { panic(err) }
fmt.Println(string(body))
}import java.net.URI;
import java.net.URLEncoder;
import java.net.http.*;
import java.nio.charset.StandardCharsets;
import java.time.Duration;
String query = "api_key=" + URLEncoder.encode(
System.getenv("WSA_API_KEY"), StandardCharsets.UTF_8
) + "&url=" + URLEncoder.encode(
"https://example.com/public-page", StandardCharsets.UTF_8
) + "&json_response=1";
var request = HttpRequest.newBuilder()
.uri(URI.create("https://api.webscrapingapi.com/v2?" + query))
.timeout(Duration.ofSeconds(120))
.GET().build();
var response = HttpClient.newHttpClient()
.send(request, HttpResponse.BodyHandlers.ofString());
if (response.statusCode() >= 400) {
throw new RuntimeException("API status " + response.statusCode());
}
System.out.println(response.body());using System.Net;
var apiKey = WebUtility.UrlEncode(
Environment.GetEnvironmentVariable("WSA_API_KEY")
);
var target = WebUtility.UrlEncode(
"https://example.com/public-page"
);
var requestUrl =
"https://api.webscrapingapi.com/v2?api_key=" + apiKey +
"&url=" + target + "&json_response=1";
using var client = new HttpClient();
client.Timeout = TimeSpan.FromSeconds(120);
var response = await client.GetAsync(requestUrl);
response.EnsureSuccessStatusCode();
Console.WriteLine(await response.Content.ReadAsStringAsync());require "net/http"
require "uri"
uri = URI("https://api.webscrapingapi.com/v2")
uri.query = URI.encode_www_form(
api_key: ENV.fetch("WSA_API_KEY"),
url: "https://example.com/public-page",
json_response: 1
)
http = Net::HTTP.new(uri.host, uri.port)
http.use_ssl = true
http.open_timeout = 10
http.read_timeout = 120
response = http.get(uri.request_uri)
raise "API status #{response.code}" unless response.is_a?(Net::HTTPSuccess)
puts response.bodyPropiedad operativa
Qué gestionamos y qué controlas tú
WebScrapingAPI
Infraestructura de solicitudes gestionadas
- Validación y ejecución de las solicitudes de API
- Enrutamiento y rotación por proxy
- Manejo automático de acceso y retensos internos target
- Rendering opcional respaldado por el navegador
- Respuesta documentada y entrega de errores
Tu equipo
Decisiones sobre la fuente y el producto de los datos
- Target Política de elegibilidad, uso previsto y solicitud
- URL, método, contexto, tiempo de espera y opciones de salida
- Manejo de fallos a nivel de API y validación de la empresa
- Extracción aguas abajo, mantenimiento y almacenamiento del selector
- Programación, linaje, retención y uso a continuación
Fuente y finalidadEl cliente define las fuentes elegibles y el uso previsto.
Especificación de la solicitudEl cliente configura la solicitud documentada; WebScrapingAPI la valida y la ejecuta.
Capas de accesoWebScrapingAPI opera el enrutamiento por proxy, el manejo de acceso, las pruebas internas y la representación opcional.
RespuestaWebScrapingAPI devuelve la salida o el error documentado solicitado; el cliente valida el contenido para su aplicación.
ExtracciónWebScrapingAPI ejecuta las reglas suministradas; el cliente es dueño de selectores, esquemas y mantenimiento de cambios.
Operaciones en aguas subidasEl cliente es dueño de la programación, almacenamiento, monitoreo, retención y decisiones.
Use the service only for eligible public webpages. Review source terms, applicable requirements, and the Acuerdo de servicio, then apply appropriate request, retention, and data-use policies.
Casos de uso
Utilice la página devuelta dentro de los flujos de trabajo que aún necesitan lógica personalizada.
Selección de producto
Compara tus opciones
Infraestructura de proxies
Proxies
Maximum request-level controlAPI de acceso a la webUsted opera el cliente HTTP, la política de solicitud, retemplazos, análisis y almacenamiento. WebScrapingAPI proporciona la ruta de la red.
API de scraping
One managed page requestAPI de acceso a la webProporcione una URL y opciones de solicitud. WebScrapingAPI opera la recuperación y devuelve el cuerpo de la página o la salida documentada.
API de navegador
Guided browser requestAPI de acceso a la webEnvía una solicitud REST respaldada por el navegador con espera documentada, interacciones, pasos de navegación y controles de salida.
API SERP
Search-result recordsEvaluamiento guiadoEnviar parámetros de búsqueda y recibir resultados estructurados de motores de búsqueda compatibles.
API de rastreo
Scoped page collectionAPI estructuradaEvaluar una colección de múltiples páginas limitada cuando la unidad de trabajo abarca páginas relacionadas en lugar de una sola solicitud.
API de datos
Maintained structured recordsEntrega gestionadaBusque una fuente compatible mientras WebScrapingAPI opera el acceso, target extracción específica y mantenimiento del parser.
Datos gestionados
Recurring data deliveryDefine las fuentes, esquema, cadencia, calidad y destino mientras WebScrapingAPI opera el programa contratado.
Orientación de precios
Elige un plan para tu carga de trabajo
Evaluación de los servicios propios
Mover una solicitud representativa en la API.
Comience con la ruta HTTP básica, luego prueba sólo los controles que su mezcla de producción target requiere.
- Las direcciones URL representativas y los métodos target
- Mix de solicitudes estáticas versus renderizados por el navegador
- Requisitos geográficos, de tiempo de espera y de respuesta
- Los estados de error observados y la política de retemplaje del cliente
FAQ
Preguntas sobre el producto
¿Qué es API de scraping?
API de scraping es un punto final de solicitud del lado del servidor que recupera una página web pública elegible mientras que WebScrapingAPI opera la infraestructura de acceso detrás de la solicitud. Su aplicación proporciona la URL y las opciones documentadas, luego recibe la respuesta de la página solicitada.
¿Qué es lo que devuelve API de scraping?
La respuesta predeterminada es el cuerpo de la página recuperada. Las opciones documentadas pueden devolver un sobre JSON, una representación JSON DOM, campos seleccionados con reglas de extracción o un resultado asíncrono que su aplicación recupera más tarde.
¿El API de scraping hace traducir JavaScript?
Sí. Establezca render_js=1 cuando una página requiere ejecución JavaScript del lado del cliente antes de devolver la respuesta. Utilice API de navegador cuando el flujo de trabajo necesita una secuencia documentada de interacciones del navegador, espera del estado de la página, clics o pasos de navegación.
¿Qué métodos HTTP son compatibles?
API de scraping soporta las solicitudes GET, POST, PUT y PATCH. Incluya un cuerpo de solicitud cuando el método seleccionado y el flujo de trabajo target requieren uno.
¿Puedo solicitar contenido específico de ubicación?
Los controles documentados incluyen el país y el contexto de ciudad, estado o ASN compatibles. La disponibilidad exacta puede depender del plan, la geografía y la ruta actuales, así que confirme las ubicaciones requeridas por su carga de trabajo.
¿Puede API de scraping devolver los campos seleccionados?
Sí. Las reglas de extracción de CSS o XPath proporcionadas por el cliente pueden devolver texto seleccionado, HTML, atributos, tablas, listas o registros anidados. Su equipo es dueño de los selectores, esquema, validación y mantenimiento de cambio de fuente para esas reglas.
¿Pueden ejecutarse las solicitudes de manera asíncrona?
Sí. Requiere una solicitud con la opción documentada asincrona, retenga el identificador devuelto y obtenga el resultado completado más tarde pasando ese identificador como snapshot_id.
¿Cómo debería manejar mi solicitud si no se cumplen?
Inspeccione el estado y el cuerpo de errores HTTP documentados, use retry y backoff limitados cuando sea apropiado, y distingue un fallo de API de contenido que esté presente pero incompleto para su esquema de negocio.
Su primera petición
Prueba tu primera solicitud de página
Usa la prueba gratuita con tus URL y elige un plan según el volumen de solicitudes y las opciones que necesitas.