Extrae datos de sitios web con automatización Python configurable

Configura reglas de extracción para cada sitio web

La pantalla de configuración reúne los sitios web objetivo, los campos y los selectores. También están disponibles los ajustes de paginación y contenido dinámico.

Esto ofrece al equipo de investigación un lugar claro para definir qué recopila el scraper antes de una ejecución.

Cómo funciona

1. La configuración almacena las URL de los sitios web, los campos necesarios y los selectores o XPaths.
2. El scraper aplica reglas de campos al contenido seleccionado de las páginas.
3. Los módulos de paginación y contenido dinámico preparan la ejecución para páginas conectadas y contenido renderizado en el navegador.

• Las URL objetivo pueden ser direcciones individuales o patrones de URL.
• Las salidas incluyen CSV, JSON o Excel.

Nota: Los límites de frecuencia, retrasos, ajustes de user-agent, reintentos y controles de cumplimiento de robots.txt favorecen una recopilación responsable.

Revisa registros estructurados de sitios web

La tabla de resultados presenta campos extraídos, texto visible y tablas como registros estructurados.

La exportación a CSV, JSON y Excel mantiene los datos recopilados listos para archivos de investigación y análisis posterior.

Cómo funciona

1. El módulo de extracción crea registros a partir de campos seleccionados, texto visible, tablas o listados.
2. La tabla de resultados muestra los campos extraídos y el número de registros.
3. El módulo de exportación crea archivos CSV, JSON o XLSX.

• JSON es adecuado para el intercambio estructurado.
• Excel está disponible cuando el alcance de la extracción lo requiere.

Rastrea ejecuciones e investiga errores

El historial de ejecuciones muestra sitios web objetivo, marcas de tiempo y estado. También registra errores, reintentos y rutas de archivos generados.

Los registros ofrecen al equipo una forma práctica de revisar la actividad del scraper cuando cambia una página o una ejecución requiere atención.

Cómo funciona

1. El scraper registra las marcas de tiempo, los sitios web objetivo y el estado de éxito o error de cada ejecución.
2. El visor de registros muestra mensajes de error e información sobre reintentos.
3. Los enlaces a archivos generados conectan cada ejecución con sus rutas de CSV, JSON o registros.

• El historial registra la actividad de recopilación recurrente.
• Los mensajes de error muestran los problemas registrados durante una ejecución.

Envía registros a una base de datos o API

La pantalla de entrega prepara los registros recopilados para usarlos en una base de datos o API, en lugar de dejarlos únicamente en archivos de exportación.

El mapeo de campos al esquema y la vista previa de la carga JSON ayudan a adaptar los datos extraídos a la estructura de destino.

Cómo funciona

1. El módulo de destino almacena los ajustes de la base de datos o la configuración del destino.
2. El módulo de mapeo relaciona los campos extraídos con el esquema de la tabla objetivo.
3. El módulo de integración registra JSON adaptado al esquema, registros de base de datos y registros de ejecución.

• La solución admite la entrega a PostgreSQL cuando es necesario.
• Hay disponible un endpoint REST JSON ligero para las integraciones solicitadas.