商品属性の抽出・正規化・マッピングの方法

商品属性とは何か（何ではないか）

商品属性とは、名前と値を持つ特性のことです。素材＝ステンレス鋼、容量＝1.5 L、色＝ブラックなどです。属性抽出の研究では、これを属性と値のペアと呼びます。属性は商品そのものを表し、どこで販売されても変わらないため、説明文の中だけでなく、構造化された項目に入れるべきです。

属性と混同しやすい隣接する3つの概念があり、混同すると、後のスキーマの問題の大半が生じます。

抽出を始める前に、属性スキーマを定義する

属性スキーマは、すべての値が満たすべき約束事です。スキーマがなければ、抽出はソースに書かれていることをそのまま取り込むだけになり、正規化は当て推量になります。属性ごとに、名前、データ型、標準単位、許容値または検証ルール、複数の値を持てるか、どこで必須かを決めておきます。

スキーマは、巨大なリストを1つ作るのではなく、製品ファミリーごとに用意します。ケトルには容量と定格電力が必要で、Tシャツには繊維の組成とサイズが必要です。まず、販売チャネルが要求する属性と、買い物客が絞り込みに使う属性から始め、データシートで確実に得られる技術属性を加えていきます。

属性値の出どころと、優先すべき情報源

値は通常、複数の情報源から届き、それらが常に一致するとは限りません。競合が、最後に編集した人の判断ではなく常に一貫して解決されるよう、属性ごとに情報源の優先順位を決めておきます。

実務上の基本方針は、技術文書をマーケティング文より優先し、一般的な文書よりも具体的な文書を優先することです。同等の情報源が食い違う場合（たとえばデータシートと梱包で重量が異なる場合）は、平均を取ったりどちらかを選んだりせず、どちらが最新かをサプライヤーに確認します。

• データシートと仕様書：寸法、定格、素材、性能値について最も信頼できる情報源で、多くは表になっています。
• 梱包とラベルのデザインデータ：内容量、警告、表示など、パッケージに印刷された内容については信頼できる情報源です。
• 安全データシート：化学製品の危険有害性の分類、組成、物理的性質。マーケティング用の属性ではありません。
• サプライヤーの商品説明：表には出てこない属性（スタイル、想定される用途、対応機種など）に役立ちますが、精度は最も低くなります。

商品説明から属性を抽出する方法

自由記述の説明文は、値が文章に包まれ、宣伝的な表現で修飾され、ときには否定形で書かれているため、最も扱いにくい情報源です。ルール、既知の値の辞書、言語モデルのいずれを使う場合でも、出力の信頼性を保つ手順は同じです。

1. テキストを読む前に、製品ファミリーの対象属性を、許容値と単位とともに一覧にします。
2. テキストを文と箇条書きに分け、候補となる値を探します。単位付きの数値、既知の用語、「〜に対応」などのパターンです。
3. 各候補について、前後の文脈から、限定表現（「最大」「約」「〜から」）、否定（「BPAフリー」「〜には適しません」）、条件（「フタ付き」「20 °Cの場合」）を確認します。
4. 各値は、必ず1つの属性にだけ割り当てます。数値が2つの属性のどちらにも当てはまり得る場合は、推測せず、未割り当てのままレビューに回します。
5. 次のセクションで説明するルールで値と単位を正規化し、元のテキストも併せて保持します。
6. 宣伝文だけから得た属性にはすべて印を付け、仕様表や宣言書の下書きに使う前に、確認者がデータシートで裏付けを取れるようにします。

データシートの見出しを標準の属性名に対応付ける

メーカーごとに、同じ属性の呼び方は異なり、多くは自国の言語で書かれています。実際に出会った見出しのテキストを、自社の標準の属性名に対応付ける同義語テーブルを作成します。最初は急速に増えますが、やがて安定し、最も再利用しやすい正規化の資産になります。見出しに印刷された単位も記録してください。「重量（lbs）」という見出しの下では、どのセルにも単位が繰り返されません。表のレイアウト、スキャン、OCRについては、PDFから製品データを抽出するガイドで解説しています。

数値と単位を正規化する

定量的な属性はすべて、数値と単位コードの2つの項目として保存します。国連CEFACT勧告第20号（「国際貿易で使用される計量単位のコード」）は、そのための3文字の共通コードを定めており、schema.orgもunitCodeプロパティで同じコードを使っています。たとえば、25のQuantitativeValueにunitCode CMTを指定します。「cm」「cms」「centimetres」といった自由記述の単位の代わりにこれらのコードを使えば、不一致の一種類が丸ごと解消されます。

属性ごとに標準の単位を1つ選び（通常はSI単位かその十進倍数）、インポート時に変換することで、サプライヤー間で値を正しく比較できるようにします。トレーサビリティのため、印刷されたとおりの元の値と単位も保持し、エクスポート時にチャネルの単位へ戻します。ShopifyのProduct CSVでは重量をグラム単位で指定し、WooCommerceでは、ストアに設定された重量と寸法の単位を使います。

気づきにくいエラーを招く細部に注意してください。小数点と桁区切りの記号は文書のロケールによって異なります。ドイツ語のデータシートの「1.000 W」は1,000ワットです。範囲は最小値と最大値の項目に分け、公差は公称値とは別に保存し、「約」や「最大」といった修飾語は専用の項目に保持します。ヤード・ポンド法の換算には正確な定義を使います（1インチ＝25.4 mm、1ポンド＝0.45359237 kg）。丸めは表示時に1回だけ行います。

テキスト属性には管理された語彙を使う

管理された語彙とは、テキスト属性が取り得る値のリストと、それぞれに対応付ける同義語のことです。これにより、「色：ブラック」のフィルターで、「blk」「Black」「schwarz」と記載された商品も拾えるようになります。

マーケティングとフィルタリングで求めるものが異なる場合は、フィルターやフィードに使う正規化された基本値と、表示用のメーカー独自の名称という2つの項目を持ちます。「Midnight Graphite」は商品ページの詳細としては良くても、フィルターの値としては役に立ちません。「グレー」はその逆です。多言語のカタログでは、語彙の値を言語に依存しないコードとして保存し、そのラベルを翻訳しておくと、同じ商品が、どの言語のストアフロントでも正しく絞り込めます。

属性を分類体系とチャネルのスキーマに対応付ける

分類体系は、商品にどの属性が適用されるか、またそれらを何と呼ぶかを決めます。自由に選べることはまれで、小売業者はGS1 GPC、卸売業者はETIM、ShopifyはStandard Product Taxonomyを求め、検索エンジンはschema.orgマークアップを読み取ります。自社の属性スキーマをマスターとして維持し、外部の各分類体系へのマッピングを管理します。

GS1 GPCでは、ブリックが構成の基本単位で、ブリック属性には、牛乳が動物由来か非動物由来かといった詳細が含まれます。ETIMは、クラスごとに、固定された値のリストと単位を持つ、事前定義の特性一式を提供し、そのモデルを17言語で公開しています。Shopifyは、商品の主な機能に基づいて選ぶカテゴリーを1つ求め、それを設定するとカテゴリーメタフィールドが利用できるようになります。schema.orgのProductには、gtin、mpn、brand、color、material、size、weightといった専用のプロパティがあります。

属性を重複させずにバリエーションを扱う

バリエーションとは、大半の属性が共通で、一部だけが異なる商品のことです。共通の属性を持つ親レコードと、バリエーションの軸（色、サイズ、容量など）およびそれに伴って変わる値、固有の識別子だけを持つ子レコードとしてモデル化します。GS1のGTINルールでは、スタイル、色、サイズの各バリエーションを、固有のGTINを持つ別個の商品として扱うため、識別子は常に子レコードに持たせます。

複数モデルの仕様表は、バリエーションに関するエラーの大半を引き起こします。モデルごとに1列ある表は、列ごとに1レコードに分割し、列をまたいで1回だけ印刷された値（結合セルや、表の下の「全モデル：230 V」など）は、該当するすべての子レコードにコピーします。ShopifyのCSVでは、Option1 LinkedToの列がバリエーションオプションをカテゴリーメタフィールドに紐づけます。1つの商品には、最大3つのオプションと2,048のバリエーションを設定できます。

ルールとQAサンプリングで属性を検証する

検証ルールで見つけられるのは、型の誤り、単位の誤り、あり得ない値、必須属性の欠落といった機械的なエラーです。インポートのたびに実行し、失敗したものは、黙って値を捨てるのではなく、確認者に回します。

ルールでは、もっともらしいが誤っている値は見つけられません。隣のモデルの列からコピーされた容量は、すべてのチェックを通過してしまいます。QAサンプリングならそれを見つけられます。サンプルとして選んだレコードを元の文書と、項目ごとに照合します。普遍的なサンプルサイズやエラーの許容基準はなく、リスクに応じて設定します。

1. サプライヤーごとにレコードのサンプルを抽出します。新規のサプライヤーや新しい文書のレイアウトに重点を置きます。
2. サンプリングした各属性を元の文書と照合し、一致、誤った値、欠落した値を別々に記録します。
3. レコード単位だけでなく属性単位でエラー率を計算し、問題を引き起こしている属性や見出しの対応付けを見つけます。
4. 安全に関わる属性と、法令で求められる属性は、サンプルではなく、すべてのレコードで確認します。

属性の正規化を大規模に運用する

スキーマ、同義語テーブル、語彙、ルールは、この作業の中で長く使える部分であり、抽出方法はその下で入れ替わり得ます。これらをバージョン管理し、それぞれに担当者を置き、手作業による修正は理由とともに記録し（同じ修正が繰り返される場合はルールが欠けている証拠です）、新しいサプライヤーを迎えるたびに同義語テーブルを見直します。

属性がサプライヤーのPDFにある場合、Doc2Shelfで抽出の工程を担えます。アップロードされたデータシート、仕様書、SDS、カタログを読み取り、値と単位を印刷されたとおりに保持し、根拠としてページと短い引用を付け、不足している必須データに印を付けます。その後、レコードが出品情報や宣言書の下書きに反映される前の確認の段階で、正規化ルールが適用されます。