Documentation technique INCIDB

1. Contenu du snapshot

Cinq tables, exportées en CSV UTF-8 délimité par des barres verticales et en Apache Parquet, avec des colonnes identiques :

• 18 583 produits — une ligne par produit Open Beauty Facts comportant une liste des ingrédients exploitable sur l’emballage, la déclaration brute étant conservée telle quelle pour que l’analyse puisse être refaite.
• 5 925 marques — identités de marque telles qu’enregistrées à la source.
• 46 973 noms INCI canoniques distincts — résultat de la canonicalisation de chaque token brut d’étiquette, enrichis depuis CosIng lorsque CosIng les répertorie.
• 318 758 liens de composition ordonnés — l’ordre de l’étiquette est conservé dans position_index.
• 55 426 lignes de correspondance de noms — comment chaque token brut d’étiquette a été résolu, et par quelle méthode.

2. Les sources et la jointure

Deux sources, une jointure documentée. L’URL, l’horodatage de téléchargement et le SHA-256 de chaque fichier source sont consignés dans le build_report.json livré avec les données.

• Open Beauty Facts — le corpus de produits (codes-barres, marques, categories_tags propres à la source, listes d’ingrédients brutes) sous Open Database License (ODbL).
• CosIng (Commission européenne) — l’inventaire des ingrédients : catégories fonctionnelles, numéros CAS et CE, descriptions chimiques, restrictions et appartenance aux annexes II–VI. Jointure sur le nom canonique exact ; les noms sans correspondance valent NULL dans toutes les colonnes issues de CosIng, jamais une valeur de remplacement.
• Allergènes parfumants de l’annexe III (UE) — règlement (CE) 1223/2009 modifié par le règlement (UE) 2023/1545, la seule liste à l’origine de is_common_allergen. La FDA américaine n’a pas encore publié sa liste d’allergènes parfumants au titre du MoCRA ; ce jeu de données ne comporte donc aucun indicateur américain.
• Couche éditoriale — 145 indices de comédogénicité retranscrits d’un seul tableau publié, et 270 indicateurs d’acné fongique dérivés d’une règle. Les deux portent leur citation ligne par ligne dans rating_source, et valent NULL partout ailleurs.

3. Couverture mesurée

Présentée de deux façons, car les deux chiffres diffèrent d’un ordre de grandeur et n’en citer qu’un serait trompeur :

• Correspondance CosIng (toutes) : 11,0% des 46 973 noms canoniques distincts ; 82,5% des 318 758 occurrences d’ingrédients sur les étiquettes de produits.
• functions : 10,9% des noms distincts ; 81,5% des occurrences sur les étiquettes.
• cas_number : 8,3% des noms distincts ; 76,4% des occurrences sur les étiquettes.
• chemical_description : 8,5% des noms distincts, 3 965 valeurs distinctes.

Un corpus d’étiquettes contient bien plus de chaînes distinctes — variantes botaniques, graphies multilingues, tokens marketing — qu’aucun inventaire réglementaire n’en répertorie, d’où la faiblesse du premier chiffre de chaque paire. Les emplacements d’une étiquette réelle sont très majoritairement occupés par des ingrédients que CosIng couvre effectivement, d’où le niveau élevé du second. Aucun des deux chiffres ne décrit à lui seul les données.

4. Canonicalisation

Les tokens bruts d’étiquette sont résolus en noms INCI canoniques par une procédure explicite et ordonnée — décodage des entités, suppression de caractères, réduction des espaces, passage en majuscules, puis correspondance exacte, correspondance après nettoyage, une petite table de fautes de frappe sourcée, suppression des pourcentages, suppression des parenthèses, une table de synonymes, séparation des variantes à barre oblique, et découpage des concaténations uniquement lorsque les deux moitiés correspondent à l’inventaire. Tout ce qui échoue à toutes ces étapes est conservé tel quel et enregistré comme unresolved, jamais deviné. La méthode utilisée est stockée ligne par ligne dans ingredient_name_map.method : chaque décision est ainsi auditable et réversible.

5. Démarrage rapide — PyArrow et Pandas

import pyarrow.parquet as pq

ingredients = pq.read_table('ingredients.parquet').to_pandas()
links = pq.read_table('product_ingredients.parquet').to_pandas()

# Coverage the way it actually matters: weighted by label occurrence.
merged = links.merge(ingredients, on='ingredient_id', how='left')
print(merged['functions'].notna().mean())

# EU Annex III fragrance allergens
allergens = ingredients[ingredients['is_common_allergen'] == 1]

6. Démarrage rapide — DuckDB

import duckdb

duckdb.query("""
SELECT f.function, COUNT(*) AS label_slots
FROM 'product_ingredients.parquet' pi
JOIN 'ingredients.parquet' i USING (ingredient_id)
CROSS JOIN UNNEST(string_split(i.functions, ';')) AS f(function)
WHERE i.functions IS NOT NULL
GROUP BY 1 ORDER BY 2 DESC LIMIT 10;
""").show()

# Audit the canonicalisation itself
duckdb.query("""
SELECT method, COUNT(*) AS n
FROM 'ingredient_name_map.parquet'
GROUP BY 1 ORDER BY 2 DESC;
""").show()