Vodnik
Kako izvleči podatke o izdelkih iz PDF-jev
PDF-ji dobaviteljev vsebujejo specifikacije, ki jih potrebuje vaš katalog, vendar ne v obliki, ki bi jo lahko uvozili. Tukaj so štirje načini, kako jih pretvoriti v strukturirane podatke o izdelkih, in kako izbrati med njimi.
Pridobivanje podatkov o izdelkih pomeni, da vrednosti, natisnjene v dokumentu — številke modelov, mere, materiale, zmogljivosti, nazivne vrednosti, opozorila —, pretvorite v polja, ki jih sistem lahko uporabi. Za peščico izdelkov je ročno kopiranje povsem v redu. Pri katalogu dobavitelja s stotinami SKU-jev in drugačno postavitvijo PDF-ja pri vsakem proizvajalcu izbrana metoda določa, koliko časa traja uvajanje in koliko napak pride v vašo trgovino.
Spodaj primerjamo štiri običajne pristope, nato pa obravnavamo preverjanja, ki so pomembna ne glede na metodo.
Začnite z rezultatom: določite shemo izdelka
Preden karkoli izvlečete, se odločite, katera polja potrebujete in v kakšni obliki. Shema za majhen aparat lahko vključuje model, znamko, EAN, širino/višino/globino v milimetrih, težo v kilogramih, moč v vatih, napetost, material, barvo in opozorila. Vnaprejšnja določitev enot in dovoljenih vrednosti omogoča, da so izvlečeni podatki primerljivi med dobavitelji.
Če prodajate prek več kanalov, vsako polje preslikajte v imena atributov, ki jih uporabljajo ti kanali (na primer možnosti izdelka v Shopify ali atributi v WooCommerce), da lahko rezultat izvlečenja ponovno uporabite brez novega kroga preoblikovanja.
Metoda 1: ročno kopiranje in lepljenje
Nekdo odpre PDF in vrednosti natipka ali prilepi v preglednico ali obrazec izdelka. Ne potrebuje orodij in obvlada vsako postavitev, zato večina ekip začne tukaj.
Stroški naraščajo z obsegom: je počasno, pozornost popušča, napake pri prepisu — zamenjana številka v številki modela, vrednost iz napačnega stolpca — pa je pozneje težko opaziti. Ročni vnos deluje pri majhnih katalogih ali kot korak pregleda nad samodejno metodo.
Metoda 2: orodja za izvoz tabel iz PDF-jev
Orodja za izvoz tabel (vključno z odprtokodnimi možnostmi in funkcijami izvoza v urejevalnikih PDF) zaznajo tabele v digitalnih PDF-jih in jih izvozijo v CSV ali Excel. So hitra, kadar so podatki res v urejeni tabeli.
Težave imajo z vrednostmi, zapisanimi v tekočem besedilu, združenimi celicami, tabelami na več straneh in skeniranimi dokumenti, poleg tega vračajo surove tabele in ne poimenovanih polj — stolpce morate še vedno preslikati v svojo shemo ter počistiti glave, enote in opombe.
Metoda 3: razčlenjevanje s predlogami ali po območjih
Razčlenjevalniki na podlagi predlog omogočajo, da za določeno postavitev določite, kje na strani se nahaja posamezno polje. Ko je nastavitev opravljena, se vsak dokument v tej točno določeni postavitvi izvleče dosledno, kar ustreza velikim količinam enakih dokumentov, na primer računov istega pošiljatelja.
Tehnični listi dobaviteljev so redko tako enotni. Vsak proizvajalec — in pogosto vsaka linija izdelkov — potrebuje lastno predlogo, predloge pa se pokvarijo, ko dobavitelj spremeni oblikovanje. Pri katalogih iz številnih dobaviteljev vzdrževanje hitro preseže koristi.
Metoda 4: izvlečenje z umetno inteligenco
Izvlečenje z umetno inteligenco uporablja jezikovne in vizualne modele, ki dokument preberejo, kot bi ga človek: številko modela najdejo, ne glede na to, ali je v glavi, tabeli ali stavku, ter vrnejo polja vaše sheme z vrednostmi in enotami. Ker ni odvisno od fiksnih položajev, lahko ena nastavitev obravnava številne postavitve dobaviteljev, vključno s skeniranimi stranmi.
Pri tem je treba rezultat umetne inteligence pregledati. Dobra orodja za izvlečene vrednosti prikažejo oznako zaupanja in izvorni dokaz, da se lahko pregledovalci osredotočijo na negotove vrednosti, polje pa pustijo prazno ali označeno, namesto da bi ugibala, kadar dokument vrednosti ne navaja. Doc2Shelf pri pridobivanju podatkov o izdelkih iz PDF-jev za vsako izvlečeno vrednost oceni zaupanje in popolnost ter izvlečena dejstva zapiše s stranjo in kratkim citatom; pregledan zapis lahko napolni sezname izdelkov in osnutke dokumentov o skladnosti.
Kako izbrati metodo
Praktično pravilo:
- Pod približno 20 izdelki ali enkratni dodatki: ročni vnos z jasno shemo.
- Urejene digitalne tabele, en ali dva dobavitelja: orodje za izvoz tabel in popravki.
- Veliko enakih dokumentov v isti postavitvi: razčlenjevanje s predlogami.
- Številni dobavitelji, različne postavitve ali skenirani PDF-ji: izvlečenje z umetno inteligenco s pregledom človeka.
Preverjanja, ki ohranjajo natančnost izvlečenih podatkov
Ne glede na izbrano metodo večino napak povzročajo ista vprašanja. V korak pregleda vgradite ta preverjanja:
- Preslikava modelov: kadar list zajema več modelov, potrdite, da vsaka vrednost spada v pravilni stolpec modela.
- Enote: normalizirajte enote (mm ali cm, W ali kW) in pri vsaki številčni vrednosti ohranite enoto.
- Opombe in pogoji: vrednosti, kot sta zmogljivost ali čas delovanja, so pogosto odvisne od navedenih preskusnih pogojev.
- Identifikatorji: preverite kontrolne števke EAN/GTIN in številke modelov znak za znakom.
- Manjkajoče ali nasprotujoče si vrednosti: vprašajte dobavitelja, namesto da bi sklepali vrednost, ki je v dokumentu ni.
- Sledljivost: izvorni PDF naj ostane povezan z zapisom, da lahko kdor koli pozneje znova preveri vrednost.
Metode izvlečenja ob primerjavi
Štiri zgoraj navedene metode se manj razlikujejo po tem, kaj lahko preberejo, bolj pa po tem, kaj določa njihovo natančnost in koliko nastavitve potrebujejo. V primerjavo sodi tudi OCR, vendar kot plast, ne kot metoda: skenirano stran pretvori v besedilo, besedilo v polja pa mora še vedno pretvoriti ena od drugih metod.
Natančnost nikoli ni lastnost same metode. Odvisna je od dokumentov, ki jih vnesete, od tega, kako jasno shema opredeljuje vsako polje, in od discipline pri koraku pregleda — zato jo je smiselno meriti na vzorcu lastnih PDF-jev dobaviteljev in se ne zanašati na objavljene številke.
| Metoda | Natančnost je odvisna od | Napor za nastavitev | Rezultat | Najbolj primerno za |
|---|---|---|---|---|
| Ročni vnos | Pozornost pregledovalca in jasna shema | Brez | Poimenovana polja, kot so natipkana | Majhni katalogi; enkratni dodatki; korak pregleda |
| Kopiranje in lepljenje ali izvoz iz PDF v Excel | Pravi besedilni sloj ter čiste, nezdružene tabele | Nizek | Surovo besedilo ali tabele za ročno preslikavo | Čiste digitalne tabele enega ali dveh dobaviteljev |
| Razčlenjevanje s predlogami ali po območjih | Vsak dokument z enako postavitvijo | Velik za vsako postavitev, ponovno ob spremembi postavitev | Poimenovana polja | Velike količine dokumentov z eno fiksno postavitvijo |
| OCR | Ločljivost skena, kontrast, nagnjenost, pisave, jezik | Nizek do srednji | Samo besedilo | Omogočanje branja skeniranih strani za drugo metodo |
| Izvlečenje z umetno inteligenco (LLM) | Jasnost sheme, kakovost dokumentov, disciplina pri pregledu | Nizek na postavitev; potreben je potek dela za pregled | Poimenovana polja z vrednostmi in enotami | Številni dobavitelji, raznolike postavitve, mešano besedilo in tabele |
Obravnava tabel s specifikacijami in tabel z več različicami
Večina napak pri izvlečenju iz tehničnih listov nastane v tabelah, večina teh pa takrat, ko ena tabela opisuje več modelov. Tabela, ki bralcu deluje očitno, skriva strukturo, pri kateri se lahko zmotita razčlenjevalnik ali utrujen človek: enote, ki so samo v glavi, celice, združene čez več modelov, oznake opomb ob številkah in tabele, ki se nadaljujejo na naslednji strani.
Vsako tabelo s specifikacijami obdelajte v določenem vrstnem redu, preden se katera koli vrednost prepiše v zapis:
- Ugotovite usmeritev: ali so modeli ali različice v stolpcih ali v vrsticah? Zabeležite njihovo število, da boste lahko na koncu preverili število zapisov.
- Preberite vsako vrstico glave, vključno z enotami v oklepajih, in enoto prenesite na vsako celico v tem stolpcu ali vrstici.
- Razširite združene celice: vrednost, ki zajema več stolpcev modelov, velja za vsakega od teh modelov, ne le za prvega.
- Ponovno združite tabele, razdeljene čez strani, ter preverite, da se ponovljena glava ne prebere kot vrstica podatkov in da se pri prelomu strani ne izgubi nobena vrstica.
- Oznake opomb ločite od številk — „1.1¹“ je 1.1 z opombo 1, ne 1.11 — in besedilo opombe shranite kot pogoj za to vrednost.
- Razlikujte med praznim poljem, „—“, „n/a“ in „neobvezno“: prazno pomeni neznano, pomišljaj pogosto pomeni neuporabno, nobeno od tega pa ne sme postati nič.
- Poiščite vrednosti zunaj tabele, na primer „vsi modeli: 230 V“ pod njo, in jih uporabite za vse modele, ki jih zajemajo.
- Tabelo razdelite na en zapis na model ali različico, nato potrdite, da število zapisov ustreza številu iz koraka 1.
Skenirani PDF-ji in kakovost OCR
Najprej preverite, ali ima PDF besedilni sloj: če besedilo lahko izberete ali iščete po njem, je digitalen; če ne, je slika in ga je treba pred branjem s katerim koli orodjem za tabele obdelati z OCR. Ko dobavitelj pošlje sken, zahtevajte digitalni izvirnik — odpravi celotno kategorijo napak. Če morate skenirati sami, je ločljivost okoli 300 dpi pogosto priporočena za besedilo, enako pomembne pa so ravne strani z visokim kontrastom.
Napake OCR so nevarne, ker ustvarijo verjeten rezultat. Znaki, ki se zamenjujejo, so predvidljivi, zato so lahko predvidljiva tudi preverjanja:
| Napaka OCR | Primer | Kako jo odkriti |
|---|---|---|
| Zamenjava črk in števk (O/0, l/1, S/5, B/8) | „AX-1OO“ namesto AX-100 | Preverjanje vzorcev pri številkah modelov; kontrolna števka GTIN |
| Izgubljen decimalni ločilnik | „1,5 l“ prebrano kot „15 l“ | Razpon verjetnosti za posamezen atribut |
| Opomba, združena s številko | „1.1¹ kg“ prebrano kot „1.11 kg“ | Primerjava s sorodnimi modeli; iskanje besedila opombe |
| Napačen vrstni red branja | Dva stolpca, združena v eno vrstico | Preverjanje števila vrednosti na model |
| Napačno prebrani simboli enot | „°C“ kot „oC“, „µm“ kot „um“ | Seznam dovoljenih enot za posamezen atribut |
| Izgubljen minus ali pomišljaj | „−20 °C“ prebrano kot „20 °C“ | Preverite, da je minimum razpona ≤ maksimum |
Delovni primer: tehnični list postane strukturiran zapis
Tukaj je prikazano, kako se zgornji koraki uporabijo na enem ponazoritvenem tehničnem listu kuhalnika vode, ki v eni tabeli zajema dva modela. Gre za učni primer, ne za pravi izdelek ali izmerjen rezultat izvlečenja. Vsaka izvorna vrstica je preslikana v polje, normalizirana in preverjena.
Rezultat sta dva zapisa različic, ki si delita prostornino, moč in napetost, vsak pa ima svojo barvo, težo in identifikator — poleg tega dve odprti vprašanji za dobavitelja. Nič ni bilo izpolnjeno na podlagi domneve: EAN drugega modela in država porekla ostaneta prazna, dokler ju dobavitelj ne posreduje. Normalizacija vrednosti in enot pri številnih dobaviteljih, ne le v enem listu, je obravnavana v vodniku o atributih izdelkov.
| Izvorna vrstica, kot je natisnjena | Polje | Izvlečena vrednost | Uporabljeno preverjanje |
|---|---|---|---|
| Model: AX-100 | AX-100B | model_number | AX-100; AX-100B | Dva stolpca, zato dva zapisa različic |
| Prostornina 1,5 l (združeno čez oba modela) | capacity | 1.5 L za vsak model | Decimalna vejica; združena celica prekopirana v oba |
| Moč 1850–2200 W | rated_power | min. 1850 W, maks. 2200 W | Ohranjeno kot razpon, ne kot ena številka |
| 220–240 V~ 50/60 Hz | rated_voltage; frequency | 220–240 V AC; 50/60 Hz | Ena vrstica, dve polji |
| Barva: brušeno jeklo | črna | color | brušeno jeklo; črna | Ena vrednost na različico |
| Neto teža (kg) 1.1¹ | 1.0¹ | net_weight | 1.1 kg; 1.0 kg | Enota iz glave; opomba ¹ „brez podstavka“ ohranjena |
| EAN 6291041500213 | — | gtin | 6291041500213; prazno | Kontrolna števka je veljavna; zahtevajte manjkajoči EAN |
| (ni navedeno) | country_of_origin | prazno | Zahtevajte od dobavitelja; nikoli ne sklepajte |
Pogoste vrste napak in potek preverjanja
Večino napak pri izvlečenju ne glede na metodo povzroča ista peščica značilnosti dokumentov. Če jih poznate, lahko pregled zasnujete okoli resničnih tveganj, namesto da vsako vrednost znova prebirate z enako skrbnostjo.
- Potrdite dokument: pravi izdelek, trenutna revizija, prisotne vse strani.
- Vsak identifikator (številko modela, GTIN z njegovo kontrolno števko) in vsako vrednost, pomembno za varnost — opozorila, električne nazivne vrednosti, informacije o nevarnostih — preverite glede na vir.
- Za ostalo zaženite samodejna preverjanja: prisotnost enot, vrednosti v verjetnih razponih, izpolnjena obvezna polja.
- Pri vsakem dobavitelju naključno preverite vzorec preostalih polj in vzorec povečajte, če najdete napake.
- Nerešene vrzeli spremenite v vprašanja za dobavitelja, ne v ocene.
- Skupaj z zapisom shranite izvorni PDF, pregledovalca in datum pregleda.
| Vrsta napake | Kaj gre narobe | Preprečevanje |
|---|---|---|
| Enote samo v glavah | Gole številke izgubijo enoto | Enote iz glave prenesite na vrednosti; zavrnite meritve brez enote |
| Opombe in preskusni pogoji | „Tipično“, „pri 25 °C“ ali „brez podstavka“ se izgubi | Pogoje shranite skupaj z vrednostjo |
| Združene celice | Vrednost je dodeljena samo prvemu modelu | Pred razdelitvijo na različice razširite združene celice |
| Večjezični tehnični listi | Napačno prebrane decimalne vejice; ista vrednost zajeta dvakrat v dveh jezikih | Razčlenjevanje števil glede na lokalizacijo; seznam sinonimov za glave; odstranjevanje podvojenih vnosov |
| Več izdelkov v enem PDF-ju | Vrednosti, pripisane napačnemu izdelku | En zapis na izdelek; preverite vsako številko modela |
| Zastarele revizije | Star list nasprotuje trenutnemu | Zabeležite datum ali revizijo dokumenta; dajte prednost najnovejši |
| Vrednosti samo v risbah ali slikah | Mere na tehnični risbi so spregledane | Preglejte risbe; označite manjkajoče mere |
Pogosta vprašanja
- Ali lahko izvlečem podatke iz skeniranega PDF-ja?
- Da, vendar je treba besedilo najprej prepoznati z OCR (optičnim prepoznavanjem znakov). Orodja za tabele, ki berejo samo digitalno besedilo, s skenirane strani ne vrnejo ničesar; orodja z OCR in orodja na osnovi umetne inteligence jo lahko preberejo, pri slabši kakovosti skenov pa je potrebna večja previdnost.
- Kako iz tehničnega lista v PDF-ju izvlečem atribute izdelka?
- Določite atribute, ki jih potrebujete (na primer material, barva, zmogljivost), nato vrednosti iz tabel in besedila tehničnega lista pridobite ročno ali z orodjem umetne inteligence, ki celice tabel in stavke preslika v polja. Atribute, navedene samo v tržnem besedilu, obravnavajte previdno, tehnične vrednosti pa potrdite glede na tabele s specifikacijami.
- V kakšni obliki naj bodo izvlečeni podatki o izdelkih?
- V obliki, ki jo uvaža vaš nadaljnji sistem — običajno CSV za preglednice in uvoznike trgovin ali JSON za API-je in sisteme PIM. Ohranite eno vrstico ali objekt na različico izdelka z doslednimi imeni polj in enotami.
- Ali je izvlečenje z umetno inteligenco dovolj natančno za objavo brez pregleda?
- Ne bi ga smeli objaviti nepregledanega. Izvlečenje z umetno inteligenco odpravi večino tipkanja, vendar mora oseba pred uporabo podatkov negotova polja, identifikatorje in vse, kar je povezano z varnostjo, potrditi glede na izvorni dokument.
- Kakšen je najboljši način za izvlečenje tabel iz tehničnega lista v PDF-ju?
- Za čiste digitalne tabele delujeta tako orodje za izvlečenje tabel kot orodje za izvlečenje z umetno inteligenco; skenirane tabele je treba najprej obdelati z OCR. Ne glede na orodje razširite združene celice, enote iz glave prenesite na vsako vrednost, oznake opomb ločite od številk, tabele z več modeli pa razdelite na en zapis na model.
- Kako natančno je izvlečenje podatkov o izdelkih iz PDF-jev z umetno inteligenco?
- Odvisno je od kakovosti dokumenta, zahtevnosti postavitve in tega, kako jasno opredelite polja, zato ni enotne številke natančnosti, ki bi veljala za vaše dokumente. Izmerite jo sami: izvlecite vzorec PDF-jev svojih dobaviteljev in vsako polje primerjajte z virom, pri čemer napačne in manjkajoče vrednosti štejte ločeno.
- Ali lahko PDF katalog pretvorim v CSV za svojo trgovino?
- Da. Izvlecite en zapis na izdelek ali različico v stalen nabor stolpcev, normalizirajte enote in vrednosti, nato stolpce preimenujte tako, da ustrezajo uvozni predlogi vaše trgovine. Katalog ima pogosto manj podrobnosti na izdelek kot posamezni tehnični listi, zato pričakujte vrzeli, ki jih boste morali dopolniti iz drugih virov.
- Kako izvlečem podatke iz tehničnih listov v drugih jezikih?
- Med izvlečenjem ohranite vrednosti, kot so natisnjene, števila razčlenjujte glede na lokalizacijo dokumenta (decimalne vejice, ločila tisočic), glave v tujih jezikih pa s seznamom sinonimov preslikajte v svoja imena polj. Opisno besedilo prevedite ločeno in ga dajte pregledati.