Atributos de produto: como extrair, normalizar e mapear

O que são atributos de produto (e o que não são)

Um atributo de produto é uma propriedade com nome e um valor: material = aço inoxidável, capacidade = 1.5 L, cor = preto. A investigação sobre extração de atributos chama a estes elementos pares atributo–valor. Os atributos descrevem o próprio produto e mantêm-se verdadeiros onde quer que seja vendido, razão pela qual pertencem a campos estruturados e não apenas ao texto da descrição.

Três conceitos vizinhos confundem-se facilmente com os atributos, e misturá-los está na origem da maior parte dos problemas de esquema mais tarde:

Defina o esquema de atributos antes de extrair seja o que for

Um esquema de atributos é o contrato que todos os valores têm de cumprir. Sem ele, a extração produz o que a origem calhar dizer, e a normalização passa a ser adivinhação. Para cada atributo, decida o nome, o tipo de dados, a unidade canónica, os valores permitidos ou a regra de validação, se pode ter vários valores e onde é obrigatório.

Mantenha o esquema por família de produtos em vez de uma lista gigante: uma chaleira precisa de capacidade e potência nominal, uma t-shirt precisa de composição de fibras e tamanho. Comece pelos atributos que os seus canais exigem e por que os seus compradores filtram, e depois acrescente os atributos técnicos que as suas fichas técnicas fornecem de forma fiável.

De onde vêm os valores dos atributos e qual a fonte que prevalece

Os valores chegam normalmente de várias fontes que nem sempre concordam. Defina uma prioridade de fontes por atributo, para que os conflitos sejam resolvidos de forma coerente e não por quem editar o registo em último lugar.

Uma regra prática por defeito: os documentos técnicos prevalecem sobre o texto de marketing, e o documento específico sobre o geral. Quando fontes equivalentes divergem — a ficha técnica e a embalagem indicam pesos diferentes, por exemplo — não faça a média nem escolha uma; pergunte ao fornecedor qual é a atual.

• Fichas técnicas e folhas de especificações: a fonte mais fiável para dimensões, valores nominais, materiais e valores de desempenho, normalmente em tabelas.
• Embalagem e ficheiros gráficos do rótulo: autoridade sobre o que está impresso na embalagem, como a quantidade líquida, os avisos e as marcações.
• Fichas de dados de segurança: classificação de perigo, composição e propriedades físicas de produtos químicos; não são atributos de marketing.
• Descrições de produto do fornecedor: úteis para atributos que nunca aparecem numa tabela (estilo, utilização prevista, modelos compatíveis), mas a fonte menos precisa.

Como extrair atributos de descrições de produto

As descrições em texto livre são a fonte mais difícil, porque os valores estão envolvidos em frases, qualificados por linguagem de marketing e, por vezes, negados. Quer use regras, um dicionário de valores conhecidos ou um modelo de linguagem, o procedimento que mantém o resultado fiável é o mesmo:

1. Enumere os atributos-alvo da família de produtos, com os respetivos valores permitidos e unidades, antes de ler qualquer texto.
2. Divida o texto em frases e pontos-chave e depois encontre os valores candidatos: números com unidades, termos de vocabulário conhecidos e padrões como “compatível com …”.
3. Verifique o contexto de cada candidato quanto a qualificadores (“até”, “aprox.”, “a partir de”), negações (“sem BPA”, “não adequado para”) e condições (“com tampa”, “a 20 °C”).
4. Atribua cada valor a exatamente um atributo; quando um número puder pertencer a dois atributos, deixe-o por atribuir para revisão em vez de adivinhar.
5. Normalize o valor e a unidade com as regras das secções seguintes, conservando ao lado o texto original.
6. Marque todos os atributos que provêm apenas de texto de marketing, para que um revisor possa confirmá-los numa ficha técnica antes de serem usados numa tabela de especificações ou num rascunho de declaração.

Associe os cabeçalhos das fichas técnicas a nomes de atributos canónicos

Cada fabricante designa o mesmo atributo de forma diferente, muitas vezes na sua própria língua. Construa uma tabela de sinónimos que associe o texto de cabeçalho que realmente encontra ao seu nome de atributo canónico; cresce depressa no início, depois estabiliza e torna-se o seu ativo de normalização mais reutilizável. Registe também a unidade impressa no cabeçalho: sob “Peso (lbs)”, nenhuma célula repete a unidade. Os esquemas de tabelas, as digitalizações e o OCR são tratados no guia sobre extração de dados de produto de PDFs.

Normalize números e unidades

Guarde cada atributo quantitativo em dois campos: um número e um código de unidade. A Recomendação n.º 20 da UN/CEFACT (“Codes for Units of Measure Used in International Trade”) fornece códigos comuns de três carateres para o efeito, e o schema.org usa os mesmos códigos na sua propriedade unitCode, por exemplo um QuantitativeValue de 25 com unitCode CMT. Usar estes códigos em vez de unidades em texto livre (“cm”, “cms”, “centímetros”) elimina toda uma classe de incompatibilidades.

Escolha uma unidade canónica por atributo, normalmente a unidade SI ou um múltiplo decimal dela, e converta na importação para que os valores sejam comparáveis entre fornecedores. Conserve o valor e a unidade originais tal como impressos, para efeitos de rastreabilidade, e converta de volta para as unidades do canal na exportação: o CSV de produtos da Shopify espera o peso em gramas, ao passo que o WooCommerce usa as unidades de peso e de dimensões configuradas na loja.

Atenção aos pormenores que causam erros silenciosos. Os separadores decimais e de milhares dependem do idioma do documento: numa ficha técnica alemã, “1.000 W” são mil watts. Divida os intervalos em campos de mínimo e de máximo, guarde as tolerâncias à parte do valor nominal e mantenha qualificadores como “aprox.” ou “máx.” num campo próprio. As conversões de unidades imperiais usam definições exatas (1 polegada = 25,4 mm; 1 lb = 0,45359237 kg); arredonde uma só vez, no momento da apresentação.

Use vocabulários controlados para os atributos de texto

Um vocabulário controlado é a lista de valores que um atributo de texto pode assumir, mais os sinónimos que correspondem a cada um. Permite que um filtro “Cor: preto” apanhe produtos descritos como “blk”, “Black” e “schwarz”.

Mantenha dois campos quando o marketing e a filtragem puxam em direções diferentes: um valor de base normalizado para filtros e feeds, e o nome do próprio fabricante para apresentação. “Midnight Graphite” é um bom pormenor de página de produto e um valor de filtro inútil; “cinzento” é o contrário. Nos catálogos multilingues, guarde os valores do vocabulário como códigos neutros em termos de idioma e traduza as respetivas etiquetas, para que o mesmo produto seja filtrado corretamente em todos os idiomas da loja.

Associe os atributos a taxonomias e a esquemas de canais

Uma taxonomia decide quais os atributos que se aplicam a um produto e como se chamam. Raramente pode escolher uma: um retalhista pode pedir a GS1 GPC, um grossista a ETIM, a Shopify a sua Standard Product Taxonomy, e os motores de pesquisa leem a marcação schema.org. Mantenha o seu próprio esquema de atributos como mestre e mantenha um mapeamento para cada taxonomia externa.

Na GS1 GPC, o brick é o bloco de construção, e os atributos do brick contêm pormenores como saber se um leite é de origem animal ou não animal. A ETIM atribui a cada classe um conjunto predefinido de características com listas de valores e unidades fixas, e publica o seu modelo em 17 idiomas. A Shopify pede uma categoria escolhida pela função principal do produto; defini-la desbloqueia os metacampos da categoria. O schema.org Product tem propriedades dedicadas como gtin, mpn, brand, color, material, size e weight.

Trate as variantes sem duplicar atributos

As variantes são produtos que partilham a maioria dos atributos e diferem em alguns. Modele-as como um registo principal com os atributos partilhados e registos secundários que contêm apenas os eixos da variante e os valores que mudam com eles, como cor, tamanho, capacidade e os seus próprios identificadores. As regras do GTIN da GS1 tratam cada variação de estilo, cor e tamanho como um produto único com o seu próprio GTIN, pelo que o identificador reside sempre no registo secundário.

As tabelas de especificações com vários modelos causam a maioria dos erros de variantes. Divida uma tabela com uma coluna por modelo num registo por coluna e copie qualquer valor impresso uma só vez para várias colunas — uma célula mesclada ou “todos os modelos: 230 V” por baixo da tabela — para todos os registos secundários a que se aplica. Na Shopify, a coluna CSV Option1 LinkedTo liga uma opção de variante a um metacampo de categoria; um produto pode ter até três opções e 2048 variantes.

Valide os atributos com regras e amostragem de controlo de qualidade

As regras de validação detetam erros mecânicos: tipo errado, unidade errada, valor impossível, atributo obrigatório em falta. Execute-as em cada importação e encaminhe as falhas para um revisor em vez de descartar valores em silêncio.

As regras não detetam um valor plausível mas errado — uma capacidade copiada da coluna do modelo vizinho passa todas as verificações. A amostragem de controlo de qualidade deteta-o: compare registos da amostra com os documentos de origem, campo a campo. Não existe um tamanho de amostra nem um limiar de erro universais; defina-os em função do risco.

1. Recolha uma amostra de registos por fornecedor, com maior peso para fornecedores novos e novos layouts de documentos.
2. Compare cada atributo da amostra com a origem, registando separadamente as correspondências, os valores errados e os valores em falta.
3. Calcule as taxas de erro por atributo, e não apenas por registo, para encontrar os atributos ou os mapeamentos de cabeçalhos que causam problemas.
4. Verifique em todos os registos, e não por amostragem, os atributos relevantes para a segurança e os exigidos por lei.

Normalização de atributos em grande escala

O esquema, as tabelas de sinónimos, os vocabulários e as regras são a parte duradoura deste trabalho; o método de extração pode mudar por baixo deles. Versione-os, atribua um responsável a cada um, registe as correções manuais com um motivo (correções repetidas revelam uma regra em falta) e reveja a tabela de sinónimos sempre que integrar um novo fornecedor.

Se os seus atributos nascem em PDFs de fornecedores, o Doc2Shelf pode tratar da etapa de extração: lê fichas técnicas, folhas de especificações, SDS e catálogos carregados, conserva os valores e as unidades exatamente como impressos, com a página e uma citação curta como prova, e assinala os dados obrigatórios em falta. As suas regras de normalização aplicam-se depois durante a revisão, antes de o registo alimentar listagens ou rascunhos de declarações.