Proxies de centro de datos
Recopila grandes volúmenes con proxies de centro de datos cuando tus sitios objetivo acepten ese tráfico. Conserva el control del cliente, el análisis y el almacenamiento.
Adjunta al comprador
Un candidato fuerte para la evaluación
Mantenga el cliente HTTP, navegador o rastreador mientras evalúa una ruta de origen del centro de datos para una carga de trabajo estable y repetible.
El representante targets acepta el tráfico del centro de datos.
La demanda se entiende lo suficientemente bien como para abarcar la capacidad.
Tu equipo posee retemplajes, análisis, almacenamiento y calidad.
Validación antes de la escala
Prueba las páginas públicas elegibles representativas, los criterios de éxito, el manejo de las respuestas y el comportamiento conservador de las solicitudes antes de comprometerse con una asignación.
Revisar los términos de la fuente y el uso previsto.
Medir las respuestas target que recibe su colector.
Compare la oferta actual con la carga de trabajo.
Elige otro camino cuando sea necesario
Evaluar Residential o Proxies ISP cuando la categoría de identidad importa, o una API de acceso a la web cuando su equipo no quiere poseer el cliente de recogida saliente.
Controls provistos
Define país, sesión y autenticación para tu recopilador. Confirma las ubicaciones y los datos de conexión disponibles en tu plan.
Comparte los requisitos de base, ventanas máximas y continuidad para que el modelo de capacidad y asignación propuesto coincida con su carga de trabajo.
Utilice sólo el punto final y el método de autenticación específicos de la cuenta proporcionados durante el provisioning.
Utilice el protocolo soportado para su cuenta, luego verifique que la configuración provista se mapea limpiamente a su cliente proxy.
Trate la identidad de origen del centro de datos como la categoría conocida. Utilice las opciones geográficas y el comportamiento de selección disponibles para su ruta provista.
Capacidad y continuidad
El colector define el comportamiento de concurrencia, tiempo de espera y retoma. Alinear la asignación provista y cualquier comportamiento de rotación, persistencia o sesión con esos requisitos.
Collector brief
Provisioned route
Prueba de referencia
Ejecutar una solicitud representativa fijada contra los target públicos elegibles.
Prueba de ventana de pico
Ejerce la forma de demanda sin eludir los límites del colector.
Prueba de vía de falla
Verifique el tiempo de espera, vuelva a intentarlo, retroceda y deja de comportarse.
Integración de desarrolladores
Almacenar los detalles de conexión específicos de la cuenta en variables de entorno de lado del servidor protegidos. Estos patrones genéricos deliberadamente no publican o implican un punto final WebScrapingAPI.
01 Disposición antes de la conexión
Evaluar el punto final de provisión, autenticación, protocolo, geografía, asignación y precios representativos targets antes de implementar la configuración del cliente.
test -n "$WSA_DATACENTER_PROXY_URL" || exit 1
curl --fail --show-error \
--proxy "$WSA_DATACENTER_PROXY_URL" \
"https://example.com/public-page"import { ProxyAgent, fetch } from "undici";
const proxyUrl = process.env.WSA_DATACENTER_PROXY_URL;
if (!proxyUrl) throw new Error("Missing proxy configuration");
const response = await fetch("https://example.com/public-page", {
dispatcher: new ProxyAgent(proxyUrl),
});
if (!response.ok) throw new Error("Target response was not successful");
console.log(await response.text());import os
import requests
proxy_url = os.environ["WSA_DATACENTER_PROXY_URL"]
response = requests.get(
"https://example.com/public-page",
proxies={"http": proxy_url, "https": proxy_url},
timeout=30,
)
response.raise_for_status()
print(response.text)<?php
$proxyUrl = getenv("WSA_DATACENTER_PROXY_URL");
if (!$proxyUrl) throw new RuntimeException("Missing proxy configuration");
$client = curl_init("https://example.com/public-page");
curl_setopt_array($client, [
CURLOPT_PROXY => $proxyUrl,
CURLOPT_RETURNTRANSFER => true,
CURLOPT_TIMEOUT => 30,
]);
$body = curl_exec($client);
if ($body === false) throw new RuntimeException(curl_error($client));
curl_close($client);
echo $body;package main
import (
"io"
"log"
"net/http"
"net/url"
"os"
"time"
)
func main() {
proxyURL, err := url.Parse(os.Getenv("WSA_DATACENTER_PROXY_URL"))
if err != nil { log.Fatal(err) }
client := &http.Client{
Transport: &http.Transport{Proxy: http.ProxyURL(proxyURL)},
Timeout: 30 * time.Second,
}
response, err := client.Get("https://example.com/public-page")
if err != nil { log.Fatal(err) }
defer response.Body.Close()
body, err := io.ReadAll(response.Body)
if err != nil { log.Fatal(err) }
log.Print(string(body))
}import java.net.*;
import java.net.http.*;
public class DatacenterProxyExample {
public static void main(String[] args) throws Exception {
var host = System.getenv("WSA_DATACENTER_PROXY_HOST");
var port = System.getenv("WSA_DATACENTER_PROXY_PORT");
var username = System.getenv("WSA_DATACENTER_PROXY_USERNAME");
var password = System.getenv("WSA_DATACENTER_PROXY_PASSWORD");
if (host == null || port == null || username == null || password == null) {
throw new IllegalStateException("Missing provisioned Datacenter Proxy values");
}
var address = new InetSocketAddress(host, Integer.parseInt(port));
var client = HttpClient.newBuilder()
.proxy(ProxySelector.of(address))
.authenticator(new Authenticator() {
protected PasswordAuthentication getPasswordAuthentication() {
return new PasswordAuthentication(
username,
password.toCharArray()
);
}
})
.build();
var request = HttpRequest.newBuilder()
.uri(URI.create("https://example.com/public-page"))
.GET()
.build();
System.out.println(client.send(
request, HttpResponse.BodyHandlers.ofString()
).body());
}
}using System.Net;
var proxyHost = Environment.GetEnvironmentVariable("WSA_DATACENTER_PROXY_HOST")
?? throw new InvalidOperationException("Missing WSA_DATACENTER_PROXY_HOST");
var proxyPort = Environment.GetEnvironmentVariable("WSA_DATACENTER_PROXY_PORT")
?? throw new InvalidOperationException("Missing WSA_DATACENTER_PROXY_PORT");
var proxyUser = Environment.GetEnvironmentVariable("WSA_DATACENTER_PROXY_USERNAME")
?? throw new InvalidOperationException("Missing WSA_DATACENTER_PROXY_USERNAME");
var proxyPassword = Environment.GetEnvironmentVariable("WSA_DATACENTER_PROXY_PASSWORD")
?? throw new InvalidOperationException("Missing WSA_DATACENTER_PROXY_PASSWORD");
var proxyUri = new Uri("http://" + proxyHost + ":" + proxyPort);
var proxy = new WebProxy(proxyUri) {
Credentials = new NetworkCredential(proxyUser, proxyPassword)
};
using var client = new HttpClient(new HttpClientHandler { Proxy = proxy }) {
Timeout = TimeSpan.FromSeconds(30)
};
Console.WriteLine(await client.GetStringAsync(
"https://example.com/public-page"
));import { chromium } from "playwright";
const server = process.env.WSA_DATACENTER_PROXY_SERVER;
const username = process.env.WSA_DATACENTER_PROXY_USERNAME;
const password = process.env.WSA_DATACENTER_PROXY_PASSWORD;
if (!server || !username || !password) {
throw new Error("Missing provisioned Datacenter Proxy values");
}
const browser = await chromium.launch({
proxy: {
server,
username,
password,
},
});
const page = await browser.newPage();
await page.goto("https://example.com/public-page");
console.log(await page.title());
await browser.close();No exponga los puntos finales o credenciales en el código entregado por el navegador, repositorios públicos, capturas de pantalla, análisis o registros del lado del cliente.
Propiedad operativa
Tu cliente gestiona solicitudes, reintentos, análisis y almacenamiento. Proporcionamos la conexión proxy y la configuración acordada para tu cuenta.
WebScrapingAPI
WebScrapingAPI opera la ruta de origen del centro de datos provista y los controles de conexión específicos de la cuenta.
Tu equipo
Su equipo posee target selección, política de solicitudes, lógica del cliente, concurrencia, tiempo de salida, retemplajes, análisis, almacenamiento y calidad en el torrente.
Calificar
Seleccione los target públicos elegibles y valide la aceptación del centro de datos.
Provisión
Establezca la conexión, asignación, geografía y alcance de precios.
Recolectar
Su cliente envía solicitudes a través de la ruta prevista.
El funcionamiento
Su equipo maneja los retensos, análisis, almacenamiento y controles de calidad.
Utilice el servicio sólo para páginas web públicas elegibles. Acuerdo de servicio, luego aplican políticas conservadoras de solicitud y retención.
Casos de uso
Selección de proxy
Decisión | Centro de datos | Residencia | Proveedor de servicios |
|---|---|---|---|
Identidad de la red | Las IPs de origen de centros de datos | Posiciones de propiedad intelectual residenciales reales | Las IP asociadas con el ISP |
Lentes de comprador | Adaptación económica y predecible a la alta capacidad de producción para los target elegibles que aceptan el tráfico de centros de datos | Evaluar cuándo el flujo de trabajo necesita identidad residencial | Evaluar cuándo el flujo de trabajo necesita identidad asociada con el ISP |
Target aceptación | Validación del representante targets antes de la escala | Validación del representante targets antes de la escala | Validación del representante targets antes de la escala |
Control de las instalaciones | Previación para la oferta | Revisar los detalles del producto específico | Previación para la oferta |
Propiedad del cliente | Colector, retemplajes, análisis y almacenamiento | Colector, retemplajes, análisis y almacenamiento | Colector, retemplajes, análisis y almacenamiento |
Desliza horizontalmente para comparar las tres categorías de proxy.
Elige el Proxies de centro de datos cuando
su equipo opera la pila de recogida completa, las cuestiones de capacidad predecibles, y el público representativo elegible targets acepta una ruta de origen del centro de datos.
Precios y provisiones
Cheque de aptitud
Representante de acciones público elegible targets, demanda de referencia, ventanas de pico, necesidades de continuidad y manejo de respuesta esperada.
El ámbito de aplicación de la provisión
La oferta propuesta debe hacer explícito el límite técnico y de precios.
FAQ
Proxies de centro de datos solicitudes de ruta de su cliente proxy-consciente a través de direcciones IP de origen de centro de datos. Pueden adaptarse a la recopilación económica, predecible de alto rendimiento de los target públicos elegibles que aceptan el tráfico del centro de datos, mientras que su equipo mantiene el control del colector y el flujo de trabajo de respuesta.
No. El tráfico de origen del centro de datos no es aceptado por cada target. Evaluar los target públicos elegibles, respetar los términos de la fuente y las políticas de solicitud y elegir otro camino de acceso cuando la categoría no es adecuada.
Utilice el punto final específico de la cuenta, el método de autenticación y el protocolo WebScrapingAPI soportado que proporciona durante el provisioning, y mantenga cada valor de conexión en el lado del servidor.
Los controles de geografía y selección disponibles dependen de la asignación provista. No diseñe el enrutamiento de producción alrededor de una ubicación hasta que forme parte de la configuración de su cuenta.
El modelo de asignación y cualquier comportamiento de rotación, persistencia o sesión dependen de la ruta provista.
El precio depende de la forma de la carga de trabajo, target El trabajo de la empresa se centra en la creación de un equipo de trabajo para el desarrollo de la empresa. WebScrapingAPI puede explorar la ruta correcta.
Traer una carga de trabajo representativa
Comparte sitios objetivo, países, tráfico y sesiones. Te ayudaremos a elegir el tipo de proxy y la capacidad para tu recopilador.