Denormalizace (Denormalization)

Příklady z praxe

1. 01

   Čítač komentářů u článku

   Diskuzní web počítal komentáře agregací nad tabulkou s desítkami milionů řádků při každém zobrazení výpisu. Přidání sloupce comment_count do tabulky článků a jeho údržba triggerem srazila dotaz na jediné čtení indexu. Cenou je nutnost přepočítacího skriptu, který po hromadném mazání spamu čísla srovná.

   ALTER TABLE articles ADD COLUMN comment_count integer NOT NULL DEFAULT 0;
   
   CREATE FUNCTION bump_comment_count() RETURNS trigger AS $$
   BEGIN
     UPDATE articles SET comment_count = comment_count + 1
     WHERE id = NEW.article_id;
     RETURN NEW;
   END;
   $$ LANGUAGE plpgsql;

2. 02

   Historická cena na položce objednávky

   E-shop původně dohledával cenu položky přes vazbu na produkt. Po změně ceníku se ale přepsaly i staré faktury a účetní přestala souhlasit s výpisem z brány. Řešením byla denormalizace: položka objednávky si při vytvoření uloží vlastní kopii názvu, ceny a sazby DPH. Tady redundance není optimalizace, ale správný model, protože historická cena je jiný fakt než aktuální.

Časté omyly

MýtusDenormalizace je jen výmluva pro nepořádek v databázi.

Ve skutečnostiDenormalizace je vědomé rozhodnutí učiněné nad normalizovaným modelem, u kterého je pojmenovaný zdroj pravdy a způsob údržby kopie. Nepořádek vzniká tehdy, když redundance nikdy nebyla navržena, jen se nabalila.

MýtusDenormalizace vždycky zrychlí aplikaci.

Ve skutečnostiDenormalizace zrychlí čtení, ale zdraží zápis, zvětší data i indexy a může snížit počet řádků na stránce v cache. U systému s vysokým podílem zápisů bývá výsledek horší než původní stav.

MýtusV NoSQL se nenormalizuje, takže tam denormalizace nemá smysl řešit.

Ve skutečnostiV dokumentových a široce sloupcových databázích je denormalizace hlavní nástroj návrhu a je třeba ji řešit ještě pečlivěji: chybí cizí klíče i JOIN, takže veškerou konzistenci kopií drží aplikace.

Časté dotazy

Jak poznám, že je čas denormalizovat?

Denormalizace přichází na řadu až po měření. Nejprve je potřeba mít plán dotazu (EXPLAIN ANALYZE nebo ekvivalent), z něhož je vidět, že čas spotřebují opakované spojení a agregace nad velkým objemem dat, a ne chybějící index či nevhodná podmínka. Dalším signálem je poměr čtení k zápisům: pokud se sloupec čte tisíckrát na jeden zápis, předpočítání se vyplatí. Pokud se dotaz volá jednou denně v reportu, denormalizace přidá riziko bez užitku.

Je materializovaný pohled totéž co denormalizace?

Materializovaný pohled je jedna z forem denormalizace, u které údržbu redundance přebírá databáze místo aplikace. Schéma zůstane normalizované, odvozená data žijí vedle něj jako fyzicky uložený výsledek dotazu. V PostgreSQL se obnovuje příkazem REFRESH MATERIALIZED VIEW, případně souběžně s variantou CONCURRENTLY. Výhodou je jasně daný zdroj pravdy a snadné zahození, nevýhodou latence mezi obnovami: data jsou vždy o něco stará. Pro účely, kde stačí čerstvost v řádu minut, je to obvykle bezpečnější volba než ruční kopírování sloupců.

Jak zajistit, aby se denormalizovaná data nerozešla?

Konzistenci denormalizovaných dat drží kombinace tří věcí. Zaprvé jediné místo zápisu: buď trigger v databázi, nebo jedna funkce v aplikaci, kterou nikdo neobchází. Zadruhé transakce, která původní i odvozený zápis provede společně, aby nemohl projít jen jeden z nich. Zatřetí kontrolní úloha, která pravidelně porovná odvozenou hodnotu s přepočtem ze zdroje a rozdíl nahlásí nebo opraví. Bez třetího bodu se drift objeví, jen se o něm dozvíte pozdě.

Ruší denormalizace normální formy?

Denormalizace normální formy neruší, ale vědomě z nich ustupuje na konkrétních místech. Rozumný postup je navrhnout model ve třetí normální formě, ověřit ho na skutečných dotazech a teprve pak vybrané sloupce nebo tabulky denormalizovat. Zbytek schématu zůstane normalizovaný a slouží jako zdroj pravdy, ze kterého lze odvozená data kdykoli spočítat znovu. Denormalizace bez předchozího normalizovaného návrhu obvykle skončí modelem, u kterého už nikdo neví, která kopie hodnoty je ta správná.

Zdroje

1. PostgreSQL Documentation: Materialized Views(otevře se v novém okně)PostgreSQL Global Development Group
2. Data Modeling Introduction(otevře se v novém okně)MongoDB
3. Denormalization(otevře se v novém okně)Wikipedia
4. Best practices for DynamoDB design(otevře se v novém okně)Amazon Web Services

Související pojmy

• JOINJOIN je operace v SQL, která skládá řádky ze dvou nebo více tabulek podle zadané podmínky, typicky podle shody primárního a cizího klíče. Umožňuje číst normalizovaná data jako jeden výsledek, ale může měnit počet řádků i výkon dotazu.
• Normalizace databázeNormalizace databáze je způsob návrhu relační databáze, při kterém se data rozdělují do tabulek podle významu a závislostí, aby se omezila duplicita a nekonzistence. Typicky se opírá o normální formy, primární klíče a cizí klíče; výsledkem je čistší model, ale někdy složitější dotazy.
• A/B testováníA/B testování je řízený experiment, který porovnává dvě varianty stránky, funkce, ceny nebo sdělení na podobných skupinách uživatelů. Měří předem zvolenou metriku, například konverzi nebo retenci, a pomáhá rozhodnout, zda změna skutečně zlepšuje výsledek, nebo zda pozorovaný rozdíl mohl vzniknout náhodou.
• ACIDACID je sada čtyř vlastností databázové transakce: atomicity, consistency, isolation a durability. Zaručuje, že skupina zápisů proběhne jako jeden celek, neporuší definovaná pravidla databáze, nebude se nebezpečně míchat s jinými transakcemi a po potvrzení přežije pád systému, například při převodu peněz.
• Adaptive IconAdaptivní ikona je formát ikony aplikace na Androidu, který se místo jedné hotové bitmapy skládá z oddělených vrstev: pozadí a popředí. Systém výsledný tvar sám ořízne podle masky výrobce zařízení a může vrstvy animovat nebo přebarvit. Vývojář tak dodá jeden zdroj a launcher z něj vytvoří kruh, čtverec i squircle.
• Adresa v pamětiAdresa v paměti je číslo, kterým procesor jednoznačně označuje konkrétní buňku operační paměti, obvykle jeden bajt. Program pomocí adresy říká, odkud má data načíst nebo kam je zapsat. Adresy tvoří souvislý číselný rozsah, jehož velikost určuje šířka adresní sběrnice a architektura, typicky 32 nebo 64 bitů.
• AI agentAI agent je softwarový systém, který pomocí modelu umělé inteligence vnímá zadaný kontext, plánuje další kroky a samostatně volá nástroje nebo služby k dosažení cíle. Na rozdíl od jednorázového promptu udržuje stav úlohy, vyhodnocuje výsledky akcí a může opakovat postup, dokud nesplní zadání nebo nenarazí na limit.
• AndroidAndroid je operační systém postavený nad linuxovým jádrem, který vyvíjí Google a otevřeně uvolňuje jako projekt AOSP. Android pohání převážnou většinu chytrých telefonů, dále tablety, televize, hodinky i palubní systémy aut. Aplikace se pro něj píší hlavně v Kotlinu nebo Javě a distribuují přes Google Play i alternativní obchody.