rastriq. Hablemos →
Rastriq / Normalización de datos

Normalización de datos: un esquema común para fuentes que no se parecen.

Tres fabricantes de coches publican el mismo precio con tres estructuras distintas. Nosotros lo convertimos en una sola tabla que puedes cargar, cruzar y auditar. Abajo, las filas reales antes y después.

Respuesta rápida: Rastriq convierte fuentes con estructuras distintas, como los configuradores de tres fabricantes de coches, en un único esquema común con tipos documentados, URL de origen, fecha de captura y avisos de calidad que marcan las filas dudosas sin filtrarlas. La entrega sale en CSV o JSON, en un bucket S3 o en un dataset de Apify con acceso por API.

3
Esquemas de origen
1
Esquema común
0
Filas descartadas por QA

Tres esquemas, una sola tabla

BMW publica precio bruto y neto con el IVA en un campo propio. Kia mezcla precio, descuento y un indicador de precio neto. Volvo entrega un importe base con un indicador de impuestos. Los tres hablan del mismo concepto con nombres, tipos y semántica diferentes.

Antes · BMW (25 campos por fila)

marketmodel_nameline_namefuel_typecurrencygross_list_pricenet_list_pricevat_percentage
esBMW 118dPaquete M Sport ProDEUR42768.134010.40.21
esBMW 118dM Sport DesignDEUR36673.729164.010.21

Antes · Kia (31 campos por fila)

countrymodel_nametrim_namepropulsioncurrencypriceis_net_pricenet_pricediscount_amount
SpainEV6AirElectricEUR35530.01false29363.6413465
GermanyEV6AirElectricEUR44990false449900

Antes · Volvo (13 campos por fila)

countrymodelNamepowertrainbasePriceAmountbasePriceCurrencypriceIncludesTaxpriceStatus
ESEX30BEV35800EURtrueok
SEEX30BEV429000SEKtrueok

Después · esquema común

brandmarketmodeltrimpowertraincurrencyprice_grossprice_netdiscount_amountqa_flags
BMWES118dPaquete M Sport ProdieselEUR42768.134010.4——
BMWES118dM Sport DesigndieselEUR36673.729164.01——
KiaESEV6AirbevEUR35530.0129363.6413465—
KiaDEEV6AirbevEUR44990449900net_equals_gross
VolvoESEX30—bevEUR35800——net_price_unavailable
VolvoSEEX30—bevSEK429000——net_price_unavailable | non_eur_currency

Filas reales de las muestras de BMW, Kia y Volvo. Los importes se conservan en la moneda de origen; los valores ausentes en la fuente quedan vacíos y se marcan en qa_flags.

Cómo se traduce cada campo

El mapeo se documenta campo a campo y se versiona. Si el fabricante cambia su estructura, el cambio queda registrado y el esquema común no se rompe.

ConceptoBMWKiaVolvoEsquema común
Marcaconstante por actorconstante por actorconstante por actorbrand
Mercadomarket (es)country (Spain)country (ES)market (ISO 3166)
Modelomodel_namemodel_namemodelNamemodel
Versiónline_nametrim_nameeditiontrim
Motorizaciónfuel_type (D)propulsion (Electric)powertrain (BEV)powertrain
Precio con impuestosgross_list_pricepricebasePriceAmount + priceIncludesTaxprice_gross
Precio sin impuestosnet_list_pricenet_priceno publicadoprice_net
Descuentono publicadodiscount_amountdiscountSavingAmountdiscount_amount

Cuatro pasos para unificar fuentes

La normalización no es una limpieza puntual: es un conjunto de reglas explícitas que se ejecutan en cada entrega.

Taxonomía
Definimos listas cerradas para motorización (diesel, petrol, bev, phev, hev), carrocería y tracción, y asignamos cada valor de origen. En el ejemplo, D pasa a diesel y Electric o BEV pasan a bev.
Entity matching
Un mismo modelo aparece con nombres distintos: en el actor de Volkswagen la misma gama se publica como «Der Golf», «GOLF» y «Golf». Resolvemos esas variantes a una única entidad con reglas y revisión de casos dudosos.
Deduplicación
Definimos una clave natural (marca, mercado, modelo, versión, motorización y fecha de captura) y conservamos una sola fila por clave. Las repeticiones entre ejecuciones no inflan tus series.
QA que marca y no filtra
Las reglas de calidad añaden una etiqueta en qa_flags, pero nunca eliminan filas. En el ejemplo, net_price_unavailable, non_eur_currency y net_equals_gross avisan sin ocultar el dato; tú decides qué hacer con ellas.

Dónde aplicamos la normalización

El mismo método sirve para cualquier vertical con varias fuentes. Estos son los casos con muestra pública hoy.

Configuradores OEM
28 marcas
Precios por mercado, versión y motorización con un esquema común entre marcas.
Ver cobertura →
Segunda mano España
Coches.net · Wallapop · Milanuncios
Año, km, combustible, precio y provincia homogéneos entre tres portales.
Ver cobertura →
Otras fuentes
Bajo proyecto
Maquinaria, licitaciones, reseñas o directorios: definimos el esquema común contigo.
Ver proyecto a medida →

Qué recibes

La entrega incluye datos, documentación y reglas. Si quieres profundizar en la parte conceptual, lee la guía sobre normalizar precios de configuradores.

Tabla lista para cargar
CSV o JSON con el esquema común, más un diccionario de campos con tipo, ejemplo y regla de cálculo.
Formatos: CSV, JSON
Entrega recurrente
Cada ejecución programada sale ya normalizada y se publica en tu bucket S3 o en un dataset de Apify con acceso por API.
Canales: S3, Apify, API
Trazabilidad
Cada fila conserva la URL de origen y la fecha de captura, y el mapeo está versionado para que puedas reproducir cualquier cifra.
Campos: source_url, scraped_at

Preguntas frecuentes sobre normalización

¿Qué diferencia hay entre limpiar y normalizar?

Limpiar corrige errores puntuales. Normalizar define un esquema, unas categorías y unas reglas estables para que fuentes distintas produzcan la misma estructura en cada entrega, y puedas cruzarlas sin trabajo manual.

¿Eliminan filas durante el QA?

No. El QA marca las filas con etiquetas en qa_flags y las deja pasar. El filtrado lo decides tú, porque una fila sospechosa para un caso de uso puede ser válida para otro.

¿Convertís monedas?

Por defecto conservamos la moneda de origen en cada fila. Si necesitas una moneda común, añadimos una columna convertida con un tipo de cambio fijado y documentado, sin sustituir el importe original.

¿Puedo normalizar mis propios ficheros?

Sí, cuando son datos de producto o de mercado que puedan compartirse. Revisamos una muestra, definimos el esquema destino y aplicamos las reglas en cada entrega.

¿Qué pasa si el origen cambia su estructura?

Detectamos el cambio, actualizamos el mapeo y versionamos la regla. El esquema común se mantiene, de modo que tus cargas no se rompen aunque el fabricante rediseñe su configurador.

Pide una muestra normalizada

Dinos qué fuentes quieres unificar y te devolvemos un extracto con el esquema común y el diccionario de campos.

  • Extracto normalizado con qa_flags
  • Diccionario de campos y mapeo por fuente
  • Sin compromiso
No se pudo enviar. Escríbenos desde el formulario de contacto.
Recibido. Revisa tu correo y descarga mientras tanto las muestras reales en /muestras/.

¿Hablamos de tu esquema?

Cuéntanos qué fuentes manejas y qué tabla necesitas al final.

Sigue explorando