Testování mobilních aplikací AI agenty není jen posílání screenshotů modelu. Potřebujete zařízení, ovládací vrstvu a nezávislé ověření výsledku. Projdeme spuštění Androidu a iOS, zapojení fyzických telefonů, přípravu scénářů i hranice, které agentovi zabrání proměnit chybný průchod v úspěšný report.
Agent řídí průzkum, test rozhoduje o výsledku
Agent je řídicí smyčka, nikoli náhrada testovacího frameworku. Jazykový model vyhodnotí stav, navrhne akci a prostřednictvím nástroje ji provede. Následuje nové pozorování. Samotné kliknutí, instalaci aplikace a čtení logů musí zajistit skutečný program s přístupem k zařízení.
Rozlišujte generování testů, jejich vykonávání a průzkumné testování. V prvním režimu agent připraví scénář ke kontrole. Ve druhém spouští schválenou sadu a třídí selhání. Ve třetím hledá nečekané cesty aplikací. Tyto režimy potřebují odlišná oprávnění a neměly by sdílet jedinou podmínku úspěchu.
Regrese musí mít předem dané kontrolní podmínky. Pokud objednávka skončí chybou, agent nesmí změnit očekávání na „chybová obrazovka se zobrazila správně“. Autoritou je schválený scénář a stav systému, nikoli modelovo vysvětlení. Nalezenou odchylku lze klasifikovat, ale nelze ji bez kontroly přepsat na úspěch.
Doporučujeme začít agentem jako diagnostikem nad existujícími testy. Dostane chybu, logy a snímky, navrhne příčinu a další ověření. Teprve potom přidejte samostatné ovládání aplikace. Oddělíte tak přínos modelu od základní otázky, zda vaše testovací infrastruktura vůbec spolehlivě funguje bez něj.
Kde provozovat emulátory a fyzická zařízení
Výběr prostředí začíná požadovaným typem testu. Pro formuláře a navigaci je praktický lokální emulátor. Pro Bluetooth nebo skutečné přerušení aplikace telefonním hovorem potřebujete odpovídající fyzické zařízení. Cloud rozšiřuje dostupnou matici telefonů, ale přidává fronty, síťová omezení a pravidla poskytovatele.
| Prostředí | Kde běží | Vhodné použití | Hlavní omezení |
|---|---|---|---|
| Android Emulator | Linux, macOS, Windows | Funkční regrese a varianty systému | Vyžaduje vhodnou akceleraci; nenahradí skutečný hardware |
| iOS Simulator | macOS s Xcode | Navigace a aplikační logika přes UI | Potřebuje sestavení pro simulátor |
| Vlastní fyzická zařízení | Telefon připojený k řídicímu stroji | Senzory, výkon, konkrétní modely | Údržba, párování, nabíjení a rezervace |
| Cloudová farma | Infrastruktura poskytovatele | Širší matice zařízení a systémů | Podpora frameworků, síťový přístup a účtování |
Pro Android na Linuxu ověřte dostupnost KVM ještě před instalací celé sady. Virtuální server nemusí poskytovat vnořenou virtualizaci. To, že na něm spustíte běžný kontejner, neznamená, že na něm poběží hardwarově akcelerovaný emulátor. Stejnou podmínku kontrolujte u hostovaných CI runnerů.
Agent může běžet jinde než telefon. Praktická architektura odděluje orchestrátor, pracovní stroj se zařízením a testovací backend. Mezi nimi přenášíte úzce vymezené příkazy a artefakty. Celou vzdálenou plochu ani přímý přístup k operačnímu systému není nutné modelu automaticky zpřístupňovat.
Android emulátor na Linuxu krok za krokem
Na vývojářském počítači vytvoříte virtuální zařízení přes Device Manager v Android Studiu. Pro automatizaci použijte Android SDK Command-line Tools, správce balíčků sdkmanager a správce zařízení avdmanager. Postup vytváření zařízení uložte vedle testů, aby nebyl závislý na ručním nastavení notebooku.
Následující příklad předpokládá Linux x86_64, funkční KVM, nainstalované Command-line Tools, přijaté licence SDK a APK v pracovním adresáři. Používá API level 35 jako pevnou testovací konfiguraci, nikoli jako doporučení nejnovější verze. Přípravu AVD spusťte jednou, běhovou část při každém testu.
#!/usr/bin/env bash
set -euo pipefail
export ANDROID_HOME="${ANDROID_HOME:-$HOME/Android/Sdk}"
export PATH="$ANDROID_HOME/cmdline-tools/latest/bin:$ANDROID_HOME/platform-tools:$ANDROID_HOME/emulator:$PATH"
# Jednorázová příprava; licence SDK musí být předem přijaty.
sdkmanager "platform-tools" "emulator" \
"system-images;android-35;google_apis;x86_64"
echo no | avdmanager create avd --force \
--name agent-api35 \
--package "system-images;android-35;google_apis;x86_64"
# Jeden samostatný worker, jeden AVD, volný port 5554.
emulator -accel-check
emulator -avd agent-api35 -port 5554 \
-no-window -no-audio -no-snapshot -wipe-data \
> emulator.log 2>&1 &
EMULATOR_PID=$!
trap 'kill "$EMULATOR_PID" 2>/dev/null || true' EXIT
export ANDROID_SERIAL=emulator-5554
ready=0
for ((i=0; i<90; i++)); do
kill -0 "$EMULATOR_PID" 2>/dev/null || {
cat emulator.log
exit 1
}
boot=$(adb shell getprop sys.boot_completed 2>/dev/null | tr -d '\r' || true)
if [[ "$boot" == "1" ]]; then
ready=1
break
fi
sleep 2
done
[[ "$ready" == "1" ]] || {
echo "Emulátor nenaběhl v časovém limitu" >&2
exit 1
}
adb install -r ./app-debug.apk
# Zde spusťte testy; trap po skončení ukončí emulátor.Smyčka čeká až 180 sekund plus dobu jednotlivých příkazů. Pevný spánek by na pomalém stroji nestačil a na rychlém zdržoval. Parametr -wipe-data čistí uživatelská data virtuálního zařízení, ne vzdálený backend. Pro souběžné běhy přidělte každému workeru vlastní AVD, porty a adresář s artefakty.
Na Apple Silicon zvolte odpovídající obraz ARM64; nepřebírejte x86_64 konfiguraci bez kontroly hostitele. Parametry ověřte v dokumentaci spouštění emulátoru. Ze standardního Android Emulatoru je hostitelský loopback dostupný přes adresu 10.0.2.2.
iOS simulátor potřebuje macOS a Xcode
iOS Simulator provozujte na Macu s Xcode a nainstalovaným runtime požadovaného systému. Linuxový runner může zadat práci vzdálenému Macu, simulátor však lokálně nespustí. V automatizaci ukládejte konkrétní verzi Xcode i runtime, protože jejich změna může ovlivnit sestavení, systémové dialogy i výsledky testů.
Pro ovládání zařízení slouží xcrun simctl. Nejprve vypište dostupné simulátory a vyberte konkrétní UDID. Nepoužívejte neurčité „právě spuštěné zařízení“, pokud na stroji běží více úloh. Následující příklad očekává vypnutý simulátor a aplikaci sestavenou pro simulátor, nikoli distribuční IPA pro iPhone.
#!/usr/bin/env bash
set -euo pipefail
xcrun simctl list devices available
# Proměnné nastavte podle výpisu a svého sestavení.
: "${SIMULATOR_UDID:?Nastavte UDID vypnutého simulátoru}"
: "${APP_PATH:?Nastavte cestu k simulatorovému balíčku .app}"
: "${BUNDLE_ID:?Nastavte bundle identifier aplikace}"
xcrun simctl boot "$SIMULATOR_UDID"
trap 'xcrun simctl shutdown "$SIMULATOR_UDID" || true' EXIT
xcrun simctl bootstatus "$SIMULATOR_UDID" -b
xcrun simctl install "$SIMULATOR_UDID" "$APP_PATH"
xcrun simctl launch "$SIMULATOR_UDID" "$BUNDLE_ID"
# Zde spusťte testovací framework.
xcrun simctl io "$SIMULATOR_UDID" screenshot ./ios-start.pngPříkaz simctl připraví prostředí, ale sám nepředstavuje kompletní nástroj pro hledání a mačkání prvků rozhraní. K tomu přidejte Maestro, Appium s ovladačem XCUITest nebo vlastní XCUITest testy. Také zde nastavte nadřazený časový limit celé CI úlohy, aby čekání na zařízení nemohlo zablokovat frontu.
Fyzický iPhone vyžaduje další přípravu: párování, důvěryhodný počítač, odpovídající podepisování a podle systému také vývojářský režim. U Appia řešte instalaci a podpis WebDriverAgentu. Funkční průchod na simulátoru proto neznamená, že stejný balíček a stejná konfigurace půjdou bez úprav přenést na telefon.
Reálné telefony a cloudová testovací farma
Android telefon připojte přes USB, povolte ladění a potvrďte klíč řídicího počítače. Příkaz adb devices -l musí zařízení ukázat jako dostupné, nikoli neautorizované. Veškeré další příkazy směrujte na konkrétní sériové číslo. Jinak souběžný běh může instalovat aplikaci nebo mazat data na nesprávném telefonu.
Vlastní farma potřebuje rezervace zařízení, dohled nad připojením a obnovu po pádu. Test není jediný proces, který může telefon zablokovat: problémem bývá zamčená obrazovka, systémová aktualizace i odpojený USB hub. Před přidělením zařízení ověřte jeho stav a po běhu odstraňte účty a citlivé artefakty.
Cloudovou farmu neberte automaticky jako vzdálený telefon pro živého agenta. Firebase Test Lab přijímá podporované testovací úlohy a vrací výsledky. To je jiný provozní model než dlouhá interaktivní relace, ve které model po každé akci vybírá další krok.
Před výběrem poskytovatele ověřte podporovaný framework, možnost vzdálené relace a dosažitelnost neveřejného backendu. Zjistěte také přístup k videu, systémovým logům a síťovým záznamům. Agent může generovat testy pro dávkovou farmu, ale samotná dostupnost zařízení ještě nedokazuje podporu jeho ovládací smyčky.
Maestro, Appium a nativní testovací nástroje
Ovládací vrstvu vybírejte podle operací, které opravdu potřebujete. Maestro se hodí pro čitelné průchody popsané v YAML. Appium nabízí programové relace a platformní ovladače. Nativní frameworky využijete tam, kde test těsně spolupracuje s aplikací a potřebuje platformní synchronizaci nebo specializované kontroly.
| Nástroj | Silná stránka | Na co dát pozor |
|---|---|---|
| Maestro | Deklarativní průchody a snadná kontrola scénářů | Ověřit podporu cílového zařízení a potřebných interakcí |
| Appium | Programové ovládání přes ovladače UiAutomator2 a XCUITest | Správa ovladačů, relací a platformních závislostí |
| Espresso / XCUITest | Platformní testy blízko aplikaci | Oddělená implementace pro Android a iOS |
| Vizuální ovládání podle screenshotu | Průzkum rozhraní bez použitelných selektorů | Souřadnice, rozlišení a nejednoznačný stav obrazovky |
Pro běžnou regresní sadu doporučujeme stabilní selektory, ne souřadnice. Aplikace má vystavovat identifikátory testovaných prvků přes platformní mechanismy. Ověřte, jak je konkrétní framework skutečně vidí: vlastnost pojmenovaná testID se nemusí ve všech technologiích a obou systémech mapovat stejně.
U hybridní aplikace rozlišujte nativní obrazovku a obsah WebView. Appium může pracovat s různými kontexty, ale jejich dostupnost závisí na konfiguraci aplikace a ovladače. U rozhraní vykresleného do canvasu nemusí strom prvků poskytovat potřebné ovládací body. To ověřte malým prototypem před návrhem celé sady.
Scénář musí mít data i ověřitelný výsledek
Zadání „otestuj přihlášení“ není reprodukovatelný scénář. Chybí účet, počáteční stav, očekávaná navigace i definice chyby. Agentovi předejte testovací kontrakt, ze kterého vznikne deterministický průchod. U průzkumu určete alespoň oblast, zakázané operace a podmínku, kdy se má běh zastavit a předat člověku.
Identita scénáře: jednoznačné ID, účel a vazba na požadavek.
Výchozí stav: sestavení aplikace, zařízení, jazyk, oprávnění a přihlášení.
Testovací data: vyhrazený účet, připravené záznamy a identifikátor běhu.
Akce: konkrétní kroky včetně čekání na pozorovatelnou podmínku.
Očekávání: stav rozhraní a případně nezávisle ověřená změna backendu.
Úklid: odstranění vytvořených dat a ukončení relace i při selhání.
Následující ukázka pro Maestro předpokládá existující testovací účet a identifikátory dostupné v hierarchii rozhraní. Balíček i selektory jsou ilustrační a musíte je nahradit vlastními. Přihlašovací údaje předává testovací proces; nepatří do repozitáře ani do konverzace s modelem.
appId: cz.example.mobile
---
- launchApp:
clearState: true
- assertVisible:
id: "login_email"
- tapOn:
id: "login_email"
- inputText: ${TEST_EMAIL}
- tapOn:
id: "login_password"
- inputText: ${TEST_PASSWORD}
- tapOn:
id: "login_submit"
- extendedWaitUntil:
visible:
id: "account_home"
timeout: 15000
- assertVisible:
id: "account_home"Limit 15 sekund je příklad testovacího timeoutu, nikoli příslib odezvy aplikace. Samotné vyčištění stavu nenahrazuje přípravu serverových dat; na iOS navíc samostatně prověřte chování Keychainu. Podporované příkazy a jejich parametry ověřujte v dokumentaci Maestro.
U objednávky nestačí zelené potvrzení. Přes testovací API ověřte existenci záznamu, správného vlastníka a očekávaný stav. Přidejte neplatný vstup, ztrátu spojení a opakované odeslání. Právě poslední případ prověří idempotenci, kterou samotný screenshot neprokáže.
Jak propojit agenta s ovládáním aplikace
Agentovi nabídněte malou sadu typovaných nástrojů. Místo neomezeného shellu zpřístupněte operace pro snímek obrazovky, strom prvků, klepnutí, zadání hodnoty a spuštění schváleného scénáře. Adaptér je přeloží do příkazů frameworku. Dostupné akce mají odpovídat schopnostem konkrétního zařízení a aktivní relace.
U Appia drží adaptér relaci a vykonává příkazy přes platformní ovladač. Nastavení serveru, ovladačů a požadovaných parametrů relace popisuje oficiální dokumentace Appium. Samotná instalace serveru ještě nezajišťuje připravený Android ani podepsaný WebDriverAgent.
Získejte aktuální screenshot a strom prvků s identifikátorem pozorování.
Nechte agenta navrhnout jednu akci navázanou na toto pozorování.
Ověřte oprávnění, cílový prvek, platnost relace a zbývající rozpočet.
Proveďte akci a vyčkejte na konkrétní změnu stavu.
Uložte výsledek a nezávisle vyhodnoťte kontrolní podmínky scénáře.
Jako počáteční ochranu navrhujeme limit 30 akcí a 5 minut na průzkumný běh. Jde o nastavitelné provozní hranice, ne limity frameworku. Při jejich vyčerpání vraťte neuzavřený výsledek a artefakty. Nekonečné opakování klepnutí není pokrok a nemá spotřebovat celý rozpočet zařízení ani modelu.
Transport může být CLI nebo MCP; důležitější je omezený kontrakt nástrojů. Rozhodování rozebírá naše srovnání CLI a MCP pro automatizaci. Přenosový protokol sám neřeší rezervaci telefonu, bezpečnost příkazů ani správnost testovacích očekávání.
Izolace dat a bezpečnost testovacího prostředí
Testovací agent nesmí používat produkční zákaznický účet. Připravte oddělený backend, syntetická data a účet s minimálními oprávněními. Platební operace směrujte do sandboxu a skutečné SMS či e-maily do zachytávací služby. Ochranu vynucujte serverem a sítí, nikoli pouze větou v instrukcích modelu.
Každý běh potřebuje vlastní datový prostor nebo alespoň jednoznačný identifikátor. Sdílený účet vede k tomu, že jeden test odhlásí druhý a souběžné změny znehodnotí očekávání. Úklid provádějte i po pádu procesu; vedle běžného dokončovacího kroku proto provozujte odstraňování osiřelých testovacích dat.
Obsah aplikace je pro model nedůvěryhodný vstup. Text v chatu nebo produktovém popisu může obsahovat instrukci k odeslání dat či změně testu. Agent ji musí chápat jako obsah obrazovky, ne jako příkaz operátora. Adaptér má odmítnout nepovolenou operaci bez ohledu na to, jak ji model zdůvodní.
Screenshoty a logy mohou obsahovat hesla, osobní údaje i přístupové tokeny. Omezte jejich obsah už při vytváření testovacích účtů, nastavte přístupy a retenční pravidla. ADB ani Appium server nevystavujte přímo internetu. Vzdálený přístup veďte přes autentizovanou řídicí službu a izolovanou síť.
Spouštění v CI a diagnostika selhaných testů
Do CI/CD nejprve připojte deterministickou sadu bez živého rozhodování modelu. Pipeline sestaví aplikaci, připraví data, rezervuje zařízení a spustí testy. Agent následně analyzuje neúspěšné běhy. Průzkumné relace provozujte odděleně, aby jejich proměnlivost neblokovala každou změnu kódu.
Matici zařízení odvoďte od podpory produktu. Jako výchozí plán ověřujte nejnižší podporovanou a nejvyšší podporovanou verzi systému; konkrétní modely doplňte podle uživatelů. Násobení všech jazyků, rozlišení a systémů rychle zvětší počet úloh. Rozsáhlejší kombinace proto oddělte od rychlé kontroly změny.
Identifikátor sestavení, revizi testu a přesnou konfiguraci zařízení.
Snímky před chybnou akcí a po ní, případně záznam obrazovky.
Posloupnost příkazů, selektory, časování a návratové hodnoty nástrojů.
Logy aplikace, systémové záznamy a dostupný crash report.
Identifikátor testovacích dat a související serverové požadavky.
U agentního běhu verzi modelu, instrukcí a použitých nástrojů.
Rozlišujte chybu aplikace, infrastruktury, testu a rozhodnutí agenta. Odpojený telefon není regrese přihlášení. Doporučujeme nejvýše 1 automatické opakování pro diagnostiku a zachování obou výsledků. Úspěch druhého běhu nevymaže první selhání; označí nestabilitu, kterou je třeba dál vyšetřit.
Náklady počítejte jako čas zařízení, runneru, modelu a lidské diagnostiky. Pro plánování například 12 scénářů na 3 konfiguracích znamená 36 průchodů ještě před opakováním. Tento výpočet pomůže odhalit, zda rozpočet spotřebovává skutečné ověřování, dlouhý start emulátoru, nebo agent zaseknutý na jediné obrazovce.
Zavedení začněte jedním kritickým průchodem
První pilot postavte na průchodu, který má jasný obchodní výsledek: přihlášení, vytvoření rezervace nebo odeslání formuláře. Připravte stabilní data a kontrolu backendu. Stejný scénář spusťte lokálně i v CI a teprve po odstranění rozdílů přidejte agenta. Jinak budete současně ladit příliš mnoho neznámých.
Přínos vyhodnocujte podle reprodukovatelných nálezů a času potřebného k diagnostice, ne podle počtu kliknutí. Každý potvrzený problém převeďte do schváleného regresního testu. Agent tak postupně rozšiřuje trvalou testovací sadu místo toho, aby při každém spuštění znovu improvizoval stejné základní průchody.
Pokud testovatelnost řešíte společně s novou aplikací, stránka vývoje mobilních aplikací popisuje navazující realizaci produktu. Stabilní identifikátory, oddělené prostředí a diagnostiku je vhodné zahrnout už do zadání, nikoli je doplňovat až po prvním nestabilním vydání.
Spolehlivé testování mobilních aplikací stojí na ovladatelném zařízení, izolovaných datech a nezávislém ověření výsledku. AI agent nad tím přidává průzkum a diagnostiku. Když tyto vrstvy oddělíte, získáte automatizaci, která chyby nejen nachází, ale také dokáže doložit a opakovat bez slepé důvěry v model.

Komentáře (0)
Přidat komentář
Váš email nebude zveřejněn. Všechny komentáře procházejí schválením administrátorem.