Productkenmerken: extraheren, normaliseren en koppelen

Wat productkenmerken zijn (en wat niet)

Een productkenmerk is een benoemde eigenschap met een waarde: material = roestvrij staal, capacity = 1.5 L, color = zwart. In onderzoek naar kenmerkextractie heten dit attribuut-waardeparen. Kenmerken beschrijven het product zelf en blijven waar, waar het ook wordt verkocht; daarom horen ze in gestructureerde velden en niet alleen in de lopende tekst van een beschrijving.

Drie verwante begrippen worden gemakkelijk met kenmerken verward, en het door elkaar halen ervan veroorzaakt later de meeste schemaproblemen:

Definieer het kenmerkschema voordat u iets extraheert

Een kenmerkschema is het contract waaraan elke waarde moet voldoen. Zonder schema levert extractie op wat de bron toevallig zegt en wordt normalisatie gokwerk. Bepaal per kenmerk de naam, het gegevenstype, de canonieke eenheid, de toegestane waarden of validatieregel, of er meerdere waarden in mogen en waar het verplicht is.

Houd het schema per productfamilie bij in plaats van één gigantische lijst: een waterkoker heeft inhoud en nominaal vermogen nodig, een T-shirt vezelsamenstelling en maat. Begin met de kenmerken die uw kanalen vereisen en waarop uw shoppers filteren, en voeg daarna de technische kenmerken toe die uw databladen betrouwbaar leveren.

Waar kenmerkwaarden vandaan komen en welke bron voorrang heeft

Waarden komen meestal uit meerdere bronnen die het niet altijd eens zijn. Stel per kenmerk een bronprioriteit vast, zodat conflicten consistent worden opgelost en niet door wie het record het laatst bewerkt.

Een praktische standaard: technische documenten gaan voor marketingtekst, en het specifieke document gaat voor het algemene. Als gelijkwaardige bronnen elkaar tegenspreken — bijvoorbeeld een datablad en verpakking met verschillende gewichten — neem dan niet het gemiddelde en kies er niet een; vraag de leverancier welke actueel is.

• Databladen en specificatiebladen: de betrouwbaarste bron voor afmetingen, nominale waarden, materialen en prestatiewaarden, meestal in tabellen.
• Verpakking en labelontwerpen: gezaghebbend voor wat op de verpakking staat, zoals nettohoeveelheid, waarschuwingen en markeringen.
• Veiligheidsinformatiebladen: gevarenclassificatie, samenstelling en fysische eigenschappen van chemische producten; geen marketingkenmerken.
• Productbeschrijvingen van leveranciers: nuttig voor kenmerken die nooit in een tabel staan (stijl, beoogd gebruik, compatibele modellen), maar het minst nauwkeurig.

Kenmerken uit productbeschrijvingen extraheren

Vrije tekstbeschrijvingen zijn de moeilijkste bron, omdat waarden in zinnen zijn verpakt, door marketingtaal worden genuanceerd en soms worden ontkend. Of u nu regels, een woordenboek met bekende waarden of een taalmodel gebruikt, de werkwijze die de uitvoer betrouwbaar houdt, is dezelfde:

1. Maak een lijst van de doelkenmerken voor de productfamilie, met hun toegestane waarden en eenheden, voordat u tekst leest.
2. Splits de tekst in zinnen en opsommingstekens en zoek kandidaatwaarden: getallen met eenheden, bekende vocabulairetermen en patronen zoals „compatibel met …”.
3. Controleer de context van elke kandidaat op kwalificaties („tot”, „ca.”, „vanaf”), ontkenningen („BPA-vrij”, „niet geschikt voor”) en voorwaarden („met deksel”, „bij 20 °C”).
4. Wijs elke waarde aan precies één kenmerk toe; kan een getal bij twee kenmerken horen, laat het dan voor beoordeling ongekoppeld in plaats van te gokken.
5. Normaliseer de waarde en eenheid volgens de regels in de volgende onderdelen en bewaar de oorspronkelijke tekst ernaast.
6. Markeer elk kenmerk dat alleen uit marketingtekst komt, zodat een beoordelaar het aan de hand van een datablad kan bevestigen voordat het in een specificatietabel of conceptverklaring wordt gebruikt.

Kopteksten van databladen koppelen aan canonieke kenmerknamen

Elke fabrikant benoemt hetzelfde kenmerk anders, vaak in de eigen taal. Bouw een synoniementabel die de kopteksten die u daadwerkelijk tegenkomt koppelt aan uw canonieke kenmerknaam; die groeit aanvankelijk snel, stabiliseert dan en wordt uw meest herbruikbare normalisatiemiddel. Leg ook de eenheid vast die in de kop staat: onder „Gewicht (lbs)” herhaalt geen enkele cel de eenheid. Tabelopmaak, scans en OCR komen aan bod in de gids over het extraheren van productgegevens uit pdf’s.

Getallen en eenheden normaliseren

Sla elk kwantitatief kenmerk op als twee velden: een getal en een eenheidscode. Aanbeveling nr. 20 van UN/CEFACT („Codes for Units of Measure Used in International Trade”, codes voor meeteenheden in het internationale handelsverkeer) biedt hiervoor gangbare codes van drie tekens, en schema.org gebruikt dezelfde codes in de eigenschap unitCode, bijvoorbeeld een QuantitativeValue van 25 met unitCode CMT. Het gebruik van deze codes in plaats van vrije teksteenheden („cm”, „cms”, „centimeters”) voorkomt een hele categorie afwijkingen.

Kies per kenmerk één canonieke eenheid, meestal de SI-eenheid of een decimaal veelvoud daarvan, en reken om bij import, zodat waarden over leveranciers heen goed vergelijkbaar zijn. Bewaar de oorspronkelijke waarde en eenheid zoals afgedrukt voor de herleidbaarheid en reken bij export terug naar de eenheden van het kanaal: een Shopify-product-CSV verwacht het gewicht in gram, terwijl WooCommerce de gewichts- en afmetingseenheden gebruikt die in de winkel zijn ingesteld.

Let op de details die stille fouten veroorzaken. Decimale tekens en scheidingstekens voor duizendtallen hangen af van de taalregio van het document: op een Duits datablad is „1.000 W” duizend watt. Splits bereiken in minimum- en maximumvelden, sla toleranties los van de nominale waarde op en bewaar kwalificaties zoals „ca.” of „max.” in een eigen veld. Imperiale omrekeningen gebruiken exacte definities (1 inch = 25,4 mm; 1 lb = 0,45359237 kg); rond één keer af, op het moment van weergave.

Gebruik gecontroleerde vocabulaires voor tekstkenmerken

Een gecontroleerd vocabulaire is de lijst met waarden die een tekstkenmerk kan aannemen, plus de synoniemen die op elke waarde worden afgebeeld. Zo vangt een filter „Kleur: zwart” ook producten die zijn beschreven als „blk”, „Black” en „schwarz”.

Houd twee velden aan waar marketing en filteren verschillende kanten op trekken: een genormaliseerde basiswaarde voor filters en feeds, en de eigen naam van de fabrikant voor weergave. „Midnight Graphite” is een mooi detail voor een productpagina en een nutteloze filterwaarde; „grijs” is het omgekeerde. Sla bij meertalige catalogi vocabulairewaarden op als taalneutrale codes en vertaal de labels, zodat hetzelfde product in elke taal van de winkel goed filtert.

Kenmerken koppelen aan taxonomieën en kanaalschema’s

Een taxonomie bepaalt welke kenmerken voor een product gelden en hoe ze heten. U kunt er zelden zelf een kiezen: een retailer vraagt misschien om GS1 GPC, een groothandel om ETIM, Shopify om zijn Standard Product Taxonomy, en zoekmachines lezen schema.org-markup. Houd uw eigen kenmerkschema als hoofdschema aan en onderhoud een koppeling met elke externe taxonomie.

In GS1 GPC is de brick de bouwsteen, en brick-kenmerken bevatten details zoals of een melk dierlijk of niet-dierlijk is. ETIM geeft elke klasse een vooraf gedefinieerde set kenmerken met vaste waardelijsten en eenheden en publiceert zijn model in 17 talen. Shopify vraagt om één categorie, gekozen op de hoofdfunctie van het product; het instellen ervan ontgrendelt categoriemetavelden. schema.org Product heeft speciale eigenschappen zoals gtin, mpn, brand, color, material, size en weight.

Varianten verwerken zonder kenmerken te dupliceren

Varianten zijn producten die de meeste kenmerken delen en op enkele verschillen. Modelleer ze als een bovenliggend record met de gedeelde kenmerken en onderliggende records met alleen de variantassen en de waarden die daarmee veranderen, zoals kleur, maat, inhoud en hun eigen identificatiecodes. De GTIN-regels van GS1 behandelen elke stijl-, kleur- en maatvariatie als een uniek product met een eigen GTIN, dus de identificatiecode hoort altijd bij het onderliggende record.

Tabellen met meerdere modellen veroorzaken de meeste variantfouten. Splits een tabel met één kolom per model in één record per kolom en kopieer elke waarde die één keer over kolommen heen staat afgedrukt — een samengevoegde cel of „alle modellen: 230 V” onder de tabel — naar elk onderliggend record waarvoor ze geldt. In Shopify koppelt de CSV-kolom Option1 LinkedTo een variantoptie aan een categoriemetaveld; een product kan tot drie opties en 2.048 varianten hebben.

Kenmerken valideren met regels en QA-steekproeven

Validatieregels vangen mechanische fouten op: verkeerd type, verkeerde eenheid, onmogelijke waarde, ontbrekend verplicht kenmerk. Voer ze uit bij elke import en stuur mislukkingen naar een beoordelaar in plaats van waarden stilzwijgend te laten vallen.

Regels kunnen een aannemelijke maar foute waarde niet opvangen — een inhoud die uit de kolom van het naastgelegen model is overgenomen, slaagt voor elke controle. Een QA-steekproef wel: vergelijk steekproefsgewijs geselecteerde records veld voor veld met de brondocumenten. Er bestaat geen universele steekproefomvang of foutdrempel; bepaal die naar risico.

1. Trek per leverancier een steekproef van records, met extra gewicht voor nieuwe leveranciers en nieuwe documentopmaak.
2. Vergelijk elk kenmerk uit de steekproef met de bron en leg overeenkomsten, foute waarden en ontbrekende waarden apart vast.
3. Bereken foutpercentages per kenmerk, niet alleen per record, om de kenmerken of koptoewijzingen te vinden die problemen veroorzaken.
4. Controleer voor de veiligheid relevante en wettelijk vereiste kenmerken op elk record, niet op een steekproef.

Kenmerknormalisatie op schaal uitvoeren

Het schema, de synoniementabellen, de vocabulaires en de regels vormen het blijvende deel van dit werk; de extractiemethode kan eronder veranderen. Geef ze versies, wijs een eigenaar aan, log handmatige correcties met een reden (herhaalde correcties wijzen op een ontbrekende regel) en beoordeel de synoniementabel telkens wanneer een nieuwe leverancier wordt toegevoegd.

Als uw kenmerken in leveranciers-pdf’s beginnen, kan Doc2Shelf de extractiestap uitvoeren: het leest geüploade databladen, specificatiebladen, SDS en catalogi, bewaart waarden en eenheden precies zoals afgedrukt met de pagina en een kort citaat als bewijs, en markeert ontbrekende verplichte gegevens. Uw normalisatieregels worden daarna tijdens de beoordeling toegepast, voordat het record vermeldingen of conceptverklaringen voedt.