Paralelní zpracování (Parallel processing)

Příklady z praxe

1. 01

   Zmenšování náhledů fotek na více jádrech

   E-shop nahrává dávku 2 000 fotek produktů a ke každé generuje tři velikosti náhledu. Sériově běží zpracování minuty, protože každá fotka je nezávislá na ostatních, jde o učebnicový datový paralelismus. Rozdělení práce mezi procesy podle počtu jader zkrátí dobu zhruba úměrně počtu jader, dokud nenarazí na propustnost disku.

   from concurrent.futures import ProcessPoolExecutor
   from PIL import Image
   
   def make_thumb(path):
       with Image.open(path) as img:
           img.thumbnail((400, 400))
           img.save(path.replace('.jpg', '_400.jpg'))
       return path
   
   if __name__ == '__main__':
       with ProcessPoolExecutor() as pool:
           list(pool.map(make_thumb, paths))

2. 02

   Když paralelizace uškodí

   Vývojář přepíše součet pole o 5 000 prvcích na paralelní verzi se čtyřmi vlákny a naměří, že nová verze je pomalejší. Důvod je režie: vytvoření vláken, rozdělení dat a sečtení dílčích výsledků stojí víc než samotné sčítání. Paralelní varianta se začne vyplácet až u řádově větších vstupů, hranici je nutné najít měřením, ne odhadem.

Časté omyly

MýtusKdyž použiju dvakrát víc jader, program poběží dvakrát rychleji.

Ve skutečnostiZrychlení omezuje sériová část úlohy a režie na synchronizaci a přenos dat. Podle Amdahlova zákona i malý podíl nerozdělitelného kódu tvrdě zastropuje maximální zisk, takže reálné zrychlení bývá výrazně nižší než počet jader.

MýtusParalelní zpracování a asynchronní kód jsou totéž.

Ve skutečnostiAsynchronní kód řeší čekání na I/O a může běžet na jediném vlákně; skutečný souběžný výpočet se při něm dít nemusí. Paralelní zpracování znamená současný běh na více jádrech nebo strojích a pomáhá u úloh vytížených procesorem.

MýtusStačí přidat vlákna a hotovo.

Ve skutečnostiSdílený stav bez synchronizace vede k souběhům, deadlockům a chybám, které se objevují nepravidelně a hůř se reprodukují. Paralelní kód vyžaduje jasné rozdělení dat, neměnné struktury nebo explicitní zamykání.

Časté dotazy

Jak poznám, že se moje úloha na paralelní zpracování hodí?

Paralelní zpracování se vyplatí, když je úloha vytížená procesorem, dá se rozdělit na části s minimem sdíleného stavu a jednotlivé části trvají dostatečně dlouho, aby převážily režii na jejich rozdělení. Dobrými kandidáty jsou hromadné převody obrázků, generování reportů nad velkými datovými sadami, simulace nebo trénink modelů. Naopak úlohy, které většinu času čekají na databázi, disk nebo externí API, paralelizací jader nezrychlíte, tam pomůže asynchronní model a optimalizace dotazů. Rozhodnutí by mělo vzejít z profilování, ne z odhadu.

Kolik vláken nebo procesů mám nastavit?

Pro výpočetně náročné úlohy bývá rozumným výchozím bodem počet vláken odpovídající počtu logických jader stroje; víc vláken jen zvyšuje přepínání kontextu bez zisku. Pro úlohy čekající na I/O může být smysluplný počet výrazně vyšší, protože vlákna většinu času nic nepočítají. V kontejnerech je nutné ověřit, kolik jader proces skutečně dostane, protože limity CPU nemusí být viditelné přes běžné systémové API. Konečné číslo patří do konfigurace a mělo by být podložené měřením na cílovém prostředí.

Proč je paralelní kód tak náročný na ladění?

Paralelní kód se chová nedeterministicky: pořadí, ve kterém vlákna přistupují ke sdíleným datům, se mění mezi jednotlivými běhy. Chyba typu race condition se proto může projevit jednou za tisíc spuštění a při ladění zmizí, protože debugger změní časování. Pomáhá minimalizovat sdílený stav, používat neměnné datové struktury, předávat data zprávami místo sdílení paměti a nasadit nástroje pro detekci souběhů a sanitizéry vláken. Stresové testy s vysokým počtem opakování odhalí víc než jednorázový průchod.

Jaký je vztah paralelního zpracování a GPU?

GPU je hardware navržený pro extrémní datový paralelismus: obsahuje tisíce jednoduchých jader, která zároveň provádějí stejnou operaci nad různými prvky dat. Úlohy jako násobení matic, filtrace obrazu nebo trénink neuronových sítí proto na GPU běží řádově rychleji než na procesoru. Podmínkou je, že algoritmus má pravidelnou strukturu a málo větvení; kód plný podmínek a nepravidelných přístupů do paměti výhodu GPU ztrácí. Počítat je nutné také s cenou přenosu dat mezi hlavní pamětí a pamětí grafické karty.

Zdroje

1. Parallel computing(otevře se v novém okně)Wikipedia
2. concurrent.futures: Launching parallel tasks(otevře se v novém okně)Python Software Foundation
3. Amdahl's law(otevře se v novém okně)Wikipedia
4. Worker threads(otevře se v novém okně)OpenJS Foundation

Související pojmy

• DeadlockDeadlock je stav, kdy se dva nebo více procesů, vláken nebo transakcí navzájem blokují, protože každý drží prostředek, který potřebuje někdo další. Výpočet pak nemůže pokračovat bez zásahu plánovače, databáze nebo aplikace, typicky u zámků, mutexů, souborů či řádků v databázi.
• GPUGPU je specializovaný procesor navržený pro masivně paralelní výpočty, zejména vykreslování grafiky a zpracování maticových operací. Oproti CPU má mnoho jednodušších výpočetních jednotek, které současně provádějí podobné instrukce nad velkým objemem dat, například pixely, vertexy, texturami nebo tenzory ve strojovém učení.
• Load balancerLoad balancer je síťová nebo aplikační komponenta, která rozděluje příchozí provoz mezi více serverů nebo služeb. Zvyšuje dostupnost, umožňuje škálování a chrání uživatele před výpadkem jedné instance tím, že směruje požadavky jen na cíle, které podle kontrol zdraví a zvolené strategie dokážou odpovědět.
• Race conditionRace condition je chyba souběhu, při níž správnost programu závisí na náhodném pořadí nebo načasování operací nad sdíleným stavem. Projeví se typicky ve vláknech, asynchronním kódu, databázových transakcích nebo distribuovaných systémech, kde dvě části programu čtou a mění stejná data bez dostatečné synchronizace.
• VláknoVlákno je samostatná posloupnost vykonávání instrukcí uvnitř procesu, kterou operační systém nebo běhové prostředí plánuje na procesor. Více vláken může sdílet paměť a otevřené zdroje stejného procesu, takže usnadňují souběžnou práci, ale vyžadují synchronizaci kvůli závodům, deadlockům a obtížně reprodukovatelným chybám.
• ACIDACID je sada čtyř vlastností databázové transakce: atomicity, consistency, isolation a durability. Zaručuje, že skupina zápisů proběhne jako jeden celek, neporuší definovaná pravidla databáze, nebude se nebezpečně míchat s jinými transakcemi a po potvrzení přežije pád systému, například při převodu peněz.
• Adaptive IconAdaptivní ikona je formát ikony aplikace na Androidu, který se místo jedné hotové bitmapy skládá z oddělených vrstev: pozadí a popředí. Systém výsledný tvar sám ořízne podle masky výrobce zařízení a může vrstvy animovat nebo přebarvit. Vývojář tak dodá jeden zdroj a launcher z něj vytvoří kruh, čtverec i squircle.
• Adresa v pamětiAdresa v paměti je číslo, kterým procesor jednoznačně označuje konkrétní buňku operační paměti, obvykle jeden bajt. Program pomocí adresy říká, odkud má data načíst nebo kam je zapsat. Adresy tvoří souvislý číselný rozsah, jehož velikost určuje šířka adresní sběrnice a architektura, typicky 32 nebo 64 bitů.