Datová sada (dataset)

Příklady z praxe

1. 01

   Objednávky e-shopu pro reporting

   E-shop vyexportuje soubor orders.csv s objednávkami za poslední rok. Každý řádek obsahuje ID objednávky, měsíc, cenu a stav platby. Analytik ze sady spočítá měsíční tržby a odhalí, že část stornovaných objednávek se dříve započítávala do obratu.

   import pandas as pd
   
   orders = pd.read_csv("orders.csv")
   monthly = orders.groupby("month")["revenue"].sum()
   print(monthly)

2. 02

   Fotografie pro kontrolu kvality

   Tým trénuje model, který rozpoznává vadné výrobky z fotografií. Datová sada obsahuje snímky, štítky vady a informaci o výrobní lince. Po rozdělení podle výrobních sérií se ukáže, že model je spolehlivý na nových sériích méně, než naznačovalo náhodné rozdělení obrázků.

Časté omyly

MýtusDatová sada je prostě jeden soubor s daty.

Ve skutečnostiDatová sada může být jeden CSV soubor, ale také kolekce tabulek, obrázků, dokumentů nebo záznamů v objektovém úložišti. Hranici sady určuje společný účel, struktura a popis, ne počet souborů.

MýtusČím větší datová sada, tím lepší výsledek.

Ve skutečnostiVelikost pomáhá jen tehdy, když data odpovídají řešené otázce a mají přijatelnou kvalitu. Duplicitní, nevyvážená nebo špatně označená sada může zhoršit analýzu i model.

Časté dotazy

Co má obsahovat dobrý popis datové sady?

Dobrý popis datové sady má uvést účel, původ dat, význam polí, datové typy, jednotky, časové pokrytí, licenci a známá omezení. Datová sada bez těchto informací může být technicky čitelná, ale analyticky nebezpečná. Čtenář potřebuje vědět, zda hodnota nula znamená skutečnou nulu, chybějící měření nebo výsledek předchozí transformace.

Kdy je datová sada vhodná pro trénování modelu?

Datová sada je vhodná pro trénování modelu tehdy, když odpovídá problému, obsahuje správné cílové hodnoty a pokrývá případy, které model potká v produkci. Kvalita bývá důležitější než samotná velikost. Malá, přesně popsaná a reprezentativní sada může vést k lepšímu modelu než velký soubor s duplicitami, chybami ve štítcích a skrytým únikem informací.

Může být datová sada uložená ve více souborech?

Datová sada může být uložená ve více souborech, tabulkách nebo objektech v cloudovém úložišti. Podstatné je, aby zůstalo jasné, které části k sobě patří a jak se mají spojit. Velké sady se běžně dělí podle data, regionu nebo typu záznamu, protože se tak lépe přenášejí, verzují a zpracovávají paralelně.

Kdy datovou sadu anonymizovat?

Datovou sadu je vhodné anonymizovat nebo pseudonymizovat vždy, když obsahuje osobní údaje a původní identita není pro účel zpracování nutná. Nestačí odstranit jméno, protože člověka může prozradit kombinace údajů, například čas, poloha a vzácné chování. Právní a bezpečnostní posouzení patří před sdílení sady mimo původní tým.

Zdroje

1. Dataset(otevře se v novém okně)Schema.org
2. Data Catalog Vocabulary (DCAT) - Version 3(otevře se v novém okně)W3C, 2024
3. Datasets(otevře se v novém okně)Hugging Face
4. TensorFlow Datasets(otevře se v novém okně)TensorFlow

Související pojmy

• Datové jezeroDatové jezero je centrální úložiště, které uchovává velké objemy strukturovaných, polostrukturovaných i nestrukturovaných dat v původní nebo málo upravené podobě. Slouží jako základ pro analytiku, strojové učení, reporting a pozdější zpracování, kdy se datům dává struktura až při čtení nebo transformaci.
• Datový skladDatový sklad je centrální databázové prostředí určené pro dlouhodobé ukládání, sjednocení a analytické dotazování dat z více provozních systémů. Na rozdíl od transakční databáze optimalizuje čtení, agregace a historické pohledy, takže podporuje reporting, business intelligence, plánování i datové modely nad konzistentními metrikami.
• ETLETL je proces, při kterém se data získají ze zdrojových systémů, upraví do požadované podoby a uloží do cílového úložiště, typicky datového skladu. Používá se pro reporting, analytiku a integraci aplikací, protože odděluje sběr dat, jejich čištění a kontrolované načtení do jednotného modelu.
• Trénovací dataTrénovací data je odborné označení pro datovou sadu, ze které se model strojového učení učí vztahy mezi vstupy a očekávanými výstupy. Mohou obsahovat texty, obrázky, tabulky, zvuk nebo události z aplikace. Jejich kvalita, reprezentativnost a správné oddělení od testovacích dat zásadně ovlivňují spolehlivost modelu.
• A/B testováníA/B testování je řízený experiment, který porovnává dvě varianty stránky, funkce, ceny nebo sdělení na podobných skupinách uživatelů. Měří předem zvolenou metriku, například konverzi nebo retenci, a pomáhá rozhodnout, zda změna skutečně zlepšuje výsledek, nebo zda pozorovaný rozdíl mohl vzniknout náhodou.
• ACIDACID je sada čtyř vlastností databázové transakce: atomicity, consistency, isolation a durability. Zaručuje, že skupina zápisů proběhne jako jeden celek, neporuší definovaná pravidla databáze, nebude se nebezpečně míchat s jinými transakcemi a po potvrzení přežije pád systému, například při převodu peněz.
• AI agentAI agent je softwarový systém, který pomocí modelu umělé inteligence vnímá zadaný kontext, plánuje další kroky a samostatně volá nástroje nebo služby k dosažení cíle. Na rozdíl od jednorázového promptu udržuje stav úlohy, vyhodnocuje výsledky akcí a může opakovat postup, dokud nesplní zadání nebo nenarazí na limit.
• AI etikaAI etika je obor, který zkoumá, jaké dopady mají systémy umělé inteligence na lidi, a formuluje pravidla pro jejich návrh, trénink a provoz. Řeší zaujatost dat, transparentnost rozhodování, ochranu soukromí, odpovědnost za chybu i bezpečnost modelu. Ve firemní praxi se promítá do interních politik, dokumentace modelů a povinností podle regulace typu AI Act.