Poradnik
Jak wyodrębnić dane produktów z plików PDF
Pliki PDF od dostawców zawierają specyfikacje potrzebne w katalogu, ale nie w formie, którą można zaimportować. Oto cztery sposoby zamiany ich w ustrukturyzowane dane produktowe i wskazówki, jak wybrać między nimi.
Wyodrębnianie danych produktowych oznacza przejęcie wartości wydrukowanych w dokumencie — numerów modeli, wymiarów, materiałów, pojemności, parametrów, ostrzeżeń — i zamianę ich w pola, z których może korzystać system. Przy kilku produktach kopiowanie ręczne w zupełności wystarcza. Przy katalogu dostawcy z setkami SKU i innym układem pliku PDF od każdego producenta wybrana metoda decyduje o tym, jak długo trwa wdrożenie i ile błędów trafia do sklepu.
Poniżej porównujemy cztery popularne podejścia, a następnie omawiamy kontrole, które mają znaczenie niezależnie od metody.
Zacznij od wyniku: zdefiniuj schemat produktu
Zanim cokolwiek wyodrębnisz, zdecyduj, jakich pól potrzebujesz i w jakiej formie. Schemat dla małego urządzenia może obejmować model, markę, EAN, szerokość/wysokość/głębokość w milimetrach, wagę w kilogramach, moc w watach, napięcie, materiał, kolor i ostrzeżenia. Wcześniejsze zdefiniowanie jednostek i dozwolonych wartości sprawia, że wyodrębnione dane są porównywalne między dostawcami.
Jeśli sprzedajesz w kilku kanałach, przypisz każde pole do nazw atrybutów używanych przez te kanały (na przykład opcji produktu w Shopify lub atrybutów WooCommerce), aby wynik ekstrakcji można było wykorzystać ponownie bez kolejnej rundy przeformatowania.
Metoda 1: ręczne kopiowanie i wklejanie
Ktoś otwiera plik PDF i wpisuje lub wkleja wartości do arkusza kalkulacyjnego albo formularza produktu. Nie wymaga to żadnych narzędzi i działa z każdym układem, dlatego większość zespołów zaczyna właśnie od tego.
Koszty rosną wraz z wolumenem: to wolne, uwaga słabnie, a błędy przepisywania — zamieniona cyfra w numerze modelu, wartość z niewłaściwej kolumny — trudno później wychwycić. Ręczne wprowadzanie sprawdza się przy małych katalogach lub jako etap weryfikacji nad metodą zautomatyzowaną.
Metoda 2: narzędzia do wyodrębniania tabel z PDF
Narzędzia do wyodrębniania tabel (w tym rozwiązania open source i funkcje eksportu edytorów PDF) wykrywają tabele w cyfrowych plikach PDF i eksportują je do CSV lub Excela. Działają szybko, gdy dane naprawdę znajdują się w czystej tabeli.
Mają trudności z wartościami zapisanymi w tekście ciągłym, scalonymi komórkami, tabelami wielostronicowymi i dokumentami skanowanymi, a zwracają surowe tabele zamiast nazwanych pól — nadal musisz przypisać kolumny do swojego schematu i uporządkować nagłówki, jednostki i przypisy.
Metoda 3: parsowanie na podstawie szablonu lub stref
Parsery oparte na szablonach pozwalają zdefiniować dla danego układu, gdzie na stronie znajduje się każde pole. Po skonfigurowaniu każdy dokument w dokładnie tym układzie jest wyodrębniany spójnie, co sprawdza się przy dużych wolumenach identycznych dokumentów, takich jak faktury od jednego nadawcy.
Karty katalogowe dostawców rzadko są tak jednolite. Każdy producent — a często każda linia produktów — wymaga własnego szablonu, a szablony przestają działać, gdy dostawca zmieni projekt. W katalogach pochodzących od wielu dostawców koszt utrzymania szybko przewyższa korzyści.
Metoda 4: ekstrakcja AI
Ekstrakcja AI wykorzystuje modele językowe i wizyjne, aby odczytać dokument tak, jak zrobiłaby to osoba: znajduje numer modelu niezależnie od tego, czy jest w nagłówku, tabeli czy zdaniu, i zwraca pola Twojego schematu z wartościami i jednostkami. Ponieważ nie zależy od stałych położeń, jedna konfiguracja może obsłużyć wiele układów dostawców, w tym skanowane strony.
Kompromis polega na tym, że wyniki AI trzeba zweryfikować. Dobre narzędzia pokazują wskaźnik pewności i dowody źródłowe dla wyodrębnionych wartości, aby osoby weryfikujące mogły skupić się na niepewnych, a gdy dokument czegoś nie podaje, zostawiają pole puste lub oznaczone, zamiast zgadywać. Wyodrębnianie danych produktowych z plików PDF w Doc2Shelf ocenia każdą ekstrakcję pod kątem pewności i kompletności oraz zapisuje wyodrębnione fakty wraz ze stroną i krótkim cytatem; zweryfikowany rekord może zasilać oferty i wersje robocze dokumentów zgodności.
Jak wybrać metodę
Praktyczna zasada:
- Poniżej około 20 produktów lub jednorazowe uzupełnienia: ręczne wprowadzanie z wyraźnym schematem.
- Czyste cyfrowe tabele, jeden lub dwóch dostawców: narzędzie do wyodrębniania tabel plus porządkowanie danych.
- Duże wolumeny jednego identycznego układu: parsowanie szablonów.
- Wielu dostawców, zróżnicowane układy lub skanowane pliki PDF: ekstrakcja AI z weryfikacją przez człowieka.
Kontrole, które zapewniają dokładność wyodrębnionych danych
Niezależnie od metody, te same problemy powodują większość błędów. Wbuduj poniższe kontrole w etap weryfikacji:
- Przypisanie modeli: gdy karta obejmuje kilka modeli, upewnij się, że każda wartość należy do właściwej kolumny modelu.
- Jednostki: Ujednolij jednostki (mm a cm, W a kW) i przy każdej wartości liczbowej zachowaj jednostkę.
- Przypisy i warunki: wartości takie jak pojemność czy czas pracy często zależą od podanych warunków testu.
- Identyfikatory: zweryfikuj cyfry kontrolne EAN/GTIN i numery modeli znak po znaku.
- Brakujące lub sprzeczne wartości: zapytaj dostawcę, zamiast zakładać wartość, której nie ma w dokumencie.
- Identyfikowalność: zachowaj powiązanie pliku PDF ze źródłem z rekordem, aby każdy mógł później ponownie sprawdzić wartość.
Porównanie metod wyodrębniania obok siebie
Cztery powyższe metody różnią się mniej tym, co potrafią odczytać, a bardziej tym, od czego zależy ich dokładność i ile wymagają konfiguracji. OCR też należy do porównania, ale jako warstwa, a nie metoda: zamienia zeskanowaną stronę na tekst, a inna metoda nadal musi z tego tekstu utworzyć pola.
Dokładność nigdy nie jest cechą samej metody. Zależy od dokumentów, które wprowadzasz, od tego, jak jasno schemat definiuje każde pole, i od rygoru etapu weryfikacji — dlatego warto ją zmierzyć na próbce własnych plików PDF od dostawców, zamiast polegać na publikowanych danych.
| Metoda | Dokładność zależy od | Nakład konfiguracji | Wynik | Najlepsza do |
|---|---|---|---|---|
| Ręczne wprowadzanie | Uwagi osoby weryfikującej i jasnego schematu | Brak | Nazwane pola, tak jak wpisane | Małych katalogów; jednorazowych uzupełnień; etapu weryfikacji |
| Kopiuj-wklej lub eksport z PDF do Excela | Prawdziwej warstwy tekstowej oraz czystych, niescalanych tabel | Niski | Surowy tekst lub tabele do ręcznego zmapowania | Czystych cyfrowych tabel od jednego lub dwóch dostawców |
| Parsowanie szablonowe lub strefowe | Identycznego układu każdego dokumentu | Wysoki dla każdego układu, ponownie przy zmianie układu | Nazwane pola | Dużych wolumenów w jednym stałym układzie |
| OCR | Rozdzielczości skanu, kontrastu, przekrzywienia, czcionek, języka | Niski do średniego | Tylko tekst | Uczynienia zeskanowanych stron czytelnymi dla innej metody |
| Wyodrębnianie z użyciem LLM | Przejrzystości schematu, jakości dokumentów, rygoru weryfikacji | Niski dla każdego układu; wymaga procesu weryfikacji | Nazwane pola z wartościami i jednostkami | Wielu dostawców, zróżnicowanych układów, mieszanki tekstu i tabel |
Obsługa tabel specyfikacji i tabel wielowariantowych
Większość błędów wyodrębniania w kartach danych dotyczy tabel, a najwięcej z nich pojawia się, gdy jedna tabela opisuje kilka modeli. Tabela, która dla czytelnika wygląda oczywiście, ukrywa strukturę, w której parser lub zmęczona osoba może się pomylić: jednostki podane tylko w nagłówku, komórki scalone między modelami, odnośniki do przypisów doklejone do liczb oraz tabele kontynuowane na następnej stronie.
Zanim jakakolwiek wartość trafi do rekordu, przejdź przez każdą tabelę specyfikacji w ustalonej kolejności:
- Ustal orientację: czy modele lub warianty są w kolumnach, czy w wierszach? Zanotuj, ile ich jest, aby na końcu sprawdzić liczbę rekordów.
- Przeczytaj każdy wiersz nagłówka, w tym jednostki w nawiasach, i przenieś jednostkę do każdej komórki w danej kolumnie lub wierszu.
- Rozwiń komórki scalone: wartość obejmująca kilka kolumn modeli dotyczy każdego z tych modeli, a nie tylko pierwszego.
- Połącz tabele rozdzielone między strony, sprawdzając, czy powtórzony nagłówek nie został odczytany jako wiersz danych i czy żaden wiersz nie zginął na granicy stron.
- Oddziel odnośniki do przypisów od liczb — „1.1¹” to 1.1 z przypisem 1, a nie 1.11 — i zapisz treść przypisu jako warunek tej wartości.
- Rozróżniaj puste pole, „—”, „n/a” i „opcjonalne”: puste oznacza nieznane, myślnik często oznacza „nie dotyczy”, a żadne z nich nie powinno stać się zerem.
- Szukaj wartości poza tabelą, np. „wszystkie modele: 230 V” pod nią, i zastosuj je do każdego modelu, którego dotyczą.
- Podziel tabelę na jeden rekord na model lub wariant, a następnie potwierdź, że liczba rekordów zgadza się z krokiem 1.
Zeskanowane pliki PDF i jakość OCR
Najpierw sprawdź, czy plik PDF ma warstwę tekstową: jeśli możesz zaznaczyć lub przeszukać tekst, jest cyfrowy; jeśli nie, jest obrazem i wymaga OCR, zanim jakiekolwiek narzędzie do tabel go odczyta. Gdy dostawca przysyła skan, poproś o cyfrowy oryginał — eliminuje to całą kategorię błędów. Jeśli musisz zeskanować dokument sam, powszechnie zaleca się rozdzielczość około 300 dpi dla tekstu, a równe, wysokokontrastowe strony liczą się równie mocno jak rozdzielczość.
Błędy OCR są niebezpieczne, ponieważ dają wiarygodnie wyglądający wynik. Znaki, które się mylą, są przewidywalne, więc kontrole też mogą być:
| Błąd OCR | Przykład | Jak go wychwycić |
|---|---|---|
| Pomylone litery i cyfry (O/0, l/1, S/5, B/8) | „AX-1OO” zamiast AX-100 | Kontrola wzorców numerów modeli; cyfra kontrolna GTIN |
| Zgubiony separator dziesiętny | „1,5 l” odczytane jako „15 l” | Zakres wiarygodności dla każdego atrybutu |
| Przypis wklejony w liczbę | „1.1¹ kg” odczytane jako „1.11 kg” | Porównanie z pokrewnymi modelami; wyszukanie treści przypisu |
| Zła kolejność czytania | Dwie kolumny połączone w jeden wiersz | Sprawdzenie liczby wartości na model |
| Błędnie odczytane symbole jednostek | „°C” jako „oC”, „µm” jako „um” | Lista dozwolonych jednostek dla każdego atrybutu |
| Pominięty znak minus lub myślnik | „−20 °C” odczytane jako „20 °C” | Sprawdzenie, czy minimum zakresu ≤ maksimum |
Przykład praktyczny: karta danych zamienia się w ustrukturyzowany rekord
Oto jak powyższe kroki stosują się do jednej przykładowej karty danych czajnika, która obejmuje dwa modele w jednej tabeli. To przykład dydaktyczny, a nie prawdziwy produkt ani zmierzony wynik wyodrębniania. Każdy wiersz źródłowy jest przypisany do pola, znormalizowany i sprawdzony.
Wynikiem są dwa rekordy wariantów ze wspólną pojemnością, mocą i napięciem, każdy z własnym kolorem, wagą i identyfikatorem — oraz dwa otwarte pytania do dostawcy. Nic nie zostało uzupełnione na podstawie założeń: EAN drugiego modelu i kraj pochodzenia pozostają puste, dopóki dostawca ich nie poda. Normalizacja wartości i jednostek u wielu dostawców, a nie w jednym arkuszu, jest omówiona w poradniku o atrybutach produktów.
| Wiersz źródłowy w oryginale | Pole | Wyodrębniona wartość | Zastosowana kontrola |
|---|---|---|---|
| Model: AX-100 | AX-100B | model_number | AX-100; AX-100B | Dwie kolumny, więc dwa rekordy wariantów |
| Pojemność 1,5 l (scalone dla obu modeli) | capacity | 1.5 L dla każdego modelu | Przecinek dziesiętny; scalona komórka skopiowana do obu |
| Moc 1850–2200 W | rated_power | min 1850 W, max 2200 W | Zachowany jako zakres, a nie jedna liczba |
| 220–240 V~ 50/60 Hz | rated_voltage; frequency | 220–240 V AC; 50/60 Hz | Jeden wiersz, dwa pola |
| Kolor: szczotkowana stal | czarny | color | szczotkowana stal; czarny | Jedna wartość na wariant |
| Masa netto (kg) 1.1¹ | 1.0¹ | net_weight | 1.1 kg; 1.0 kg | Jednostka z nagłówka; przypis ¹ „bez podstawy” zachowany |
| EAN 6291041500213 | — | gtin | 6291041500213; puste | Cyfra kontrolna poprawna; poproś o brakujący EAN |
| (nie podano) | country_of_origin | puste | Zapytaj dostawcę; nigdy nie wnioskuj |
Typowe rodzaje błędów i proces weryfikacji
Te same nieliczne cechy dokumentów powodują większość błędów wyodrębniania, niezależnie od metody. Ich znajomość pozwala zaprojektować weryfikację wokół rzeczywistych zagrożeń, zamiast czytać każdą wartość ponownie z jednakową uwagą.
- Potwierdź dokument: właściwy produkt, aktualna wersja, wszystkie strony na miejscu.
- Sprawdź w źródle każdy identyfikator (numer modelu, GTIN z cyfrą kontrolną) i każdą wartość istotną dla bezpieczeństwa — ostrzeżenia, parametry elektryczne, informacje o zagrożeniach.
- Uruchom automatyczne kontrole pozostałych danych: obecność jednostek, wartości w wiarygodnych zakresach, wypełnienie wymaganych pól.
- Wyrywkowo sprawdź próbkę pozostałych pól dla każdego dostawcy i powiększ próbkę, gdy znajdziesz błędy.
- Nierozstrzygnięte braki zamieniaj w pytania do dostawcy zamiast w szacunki.
- Zapisz z rekordem źródłowy plik PDF, osobę weryfikującą i datę weryfikacji.
| Rodzaj problemu | Co idzie nie tak | Zapobieganie |
|---|---|---|
| Jednostki tylko w nagłówkach | Same liczby tracą jednostkę | Przenoś jednostki z nagłówków do komórek; odrzucaj pomiary bez jednostek |
| Przypisy i warunki badania | Określenia „typowo”, „w 25 °C” lub „bez podstawy” są pomijane | Przechowuj warunki razem z wartością |
| Scalone komórki | Wartość przypisana tylko do pierwszego modelu | Rozwiń scalone komórki przed podziałem na warianty |
| Wielojęzyczne karty danych | Źle odczytane przecinki dziesiętne; ta sama wartość zapisana dwa razy w dwóch językach | Parsowanie liczb zgodnie z ustawieniami regionalnymi; lista synonimów nagłówków; usuwanie duplikatów |
| Kilka produktów w jednym pliku PDF | Wartości przypisane do niewłaściwego produktu | Jeden rekord na produkt; sprawdź numer każdego modelu |
| Nieaktualne wersje | Stara karta przeczy aktualnej | Zapisz datę lub wersję dokumentu; preferuj najnowszą |
| Wartości tylko na rysunkach lub obrazach | Wymiary na rysunku technicznym zostają pominięte | Sprawdź rysunki; oznacz brakujące wymiary |
Najczęściej zadawane pytania
- Czy mogę wyodrębnić dane ze skanowanego pliku PDF?
- Tak, ale tekst trzeba najpierw rozpoznać za pomocą OCR (optycznego rozpoznawania znaków). Narzędzia do tabel, które odczytują tylko tekst cyfrowy, nie zwrócą nic ze skanowanej strony; narzędzia z obsługą OCR i oparte na AI potrafią ją odczytać, choć przy skanach niskiej jakości potrzeba większej staranności.
- Jak wyodrębnić atrybuty produktu z karty danych w PDF?
- Zdefiniuj potrzebne atrybuty (np. materiał, kolor, pojemność), a następnie pobierz wartości z tabel i tekstu karty danych — ręcznie lub za pomocą narzędzia AI, które przypisuje komórki tabel i zdania do pól. Atrybuty podane wyłącznie w tekście marketingowym traktuj ostrożnie, a wartości techniczne potwierdzaj w tabelach specyfikacji.
- W jakim formacie powinny być wyodrębnione dane produktów?
- W takim, jaki importuje Twój system docelowy — zwykle CSV dla arkuszy kalkulacyjnych i importerów sklepów lub JSON dla API i systemów PIM. Utrzymuj jeden wiersz lub obiekt na wariant produktu, ze spójnymi nazwami pól i jednostkami.
- Czy ekstrakcja AI jest wystarczająco dokładna, by publikować bez weryfikacji?
- Nie powinna być publikowana bez weryfikacji. Ekstrakcja AI eliminuje większość pisania, ale osoba powinna potwierdzić niepewne pola, identyfikatory i wszystko, co dotyczy bezpieczeństwa, z dokumentem źródłowym, zanim dane zostaną wykorzystane.
- Jak najlepiej wyodrębnić tabele z karty danych w PDF?
- W przypadku czystych cyfrowych tabel sprawdzi się zarówno narzędzie do wyodrębniania tabel, jak i narzędzie AI; zeskanowane tabele wymagają najpierw OCR. Niezależnie od narzędzia rozwiń scalone komórki, przenieś jednostki z nagłówków do każdej wartości, oddziel odnośniki do przypisów od liczb i podziel tabele wielomodelowe na jeden rekord na model.
- Jak dokładne jest wyodrębnianie danych produktowych z plików PDF przez AI?
- Zależy to od jakości dokumentu, złożoności układu i tego, jak jasno zdefiniujesz pola, więc nie ma jednej wartości dokładności, która dotyczyłaby Twoich dokumentów. Zmierz ją samodzielnie: wyodrębnij próbkę plików PDF od dostawców i porównaj każde pole ze źródłem, osobno licząc wartości błędne i brakujące.
- Czy mogę zamienić katalog PDF na plik CSV dla mojego sklepu?
- Tak. Wyodrębnij jeden rekord na produkt lub wariant do stałego zestawu kolumn, znormalizuj jednostki i wartości, a następnie zmień nazwy kolumn tak, aby pasowały do szablonu importu Twojego sklepu. Katalog często zawiera mniej szczegółów o produkcie niż pojedyncze karty danych, więc spodziewaj się luk do uzupełnienia z innych źródeł.
- Jak wyodrębnić dane z kart danych w innych językach?
- Podczas wyodrębniania zachowuj wartości w oryginalnej postaci, parsuj liczby zgodnie z ustawieniami regionalnymi dokumentu (przecinki dziesiętne, separatory tysięcy) i przypisuj nagłówki w obcym języku do swoich nazw pól za pomocą listy synonimów. Tekst opisowy tłumacz osobno i zadbaj o jego weryfikację.