Zeptat se AI:

Dvě hranaté siluety telefonů propojené s rozhodovacím uzlem, uvnitř obrazovek bloky rozhraní a kontrolní značky.

Fakta v kostce

Android v ukázce
API level 35
Port emulátoru v ukázce
5554
Limit čekání na start v ukázce
180 sekund
Navržený limit agentního běhu
30 akcí
Navržený limit opakování testu
1 opakování

Testování mobilních aplikací AI agenty: zařízení i scénáře

Testování mobilních aplikací AI agenty není jen posílání screenshotů modelu. Potřebujete zařízení, ovládací vrstvu a nezávislé ověření výsledku. Projdeme spuštění Androidu a iOS, zapojení fyzických telefonů, přípravu scénářů i hranice, které agentovi zabrání proměnit chybný průchod v úspěšný report.

Agent řídí průzkum, test rozhoduje o výsledku

Agent je řídicí smyčka, nikoli náhrada testovacího frameworku. Jazykový model vyhodnotí stav, navrhne akci a prostřednictvím nástroje ji provede. Následuje nové pozorování. Samotné kliknutí, instalaci aplikace a čtení logů musí zajistit skutečný program s přístupem k zařízení.

Rozlišujte generování testů, jejich vykonávání a průzkumné testování. V prvním režimu agent připraví scénář ke kontrole. Ve druhém spouští schválenou sadu a třídí selhání. Ve třetím hledá nečekané cesty aplikací. Tyto režimy potřebují odlišná oprávnění a neměly by sdílet jedinou podmínku úspěchu.

Regrese musí mít předem dané kontrolní podmínky. Pokud objednávka skončí chybou, agent nesmí změnit očekávání na „chybová obrazovka se zobrazila správně“. Autoritou je schválený scénář a stav systému, nikoli modelovo vysvětlení. Nalezenou odchylku lze klasifikovat, ale nelze ji bez kontroly přepsat na úspěch.

Doporučujeme začít agentem jako diagnostikem nad existujícími testy. Dostane chybu, logy a snímky, navrhne příčinu a další ověření. Teprve potom přidejte samostatné ovládání aplikace. Oddělíte tak přínos modelu od základní otázky, zda vaše testovací infrastruktura vůbec spolehlivě funguje bez něj.

Kde provozovat emulátory a fyzická zařízení

Výběr prostředí začíná požadovaným typem testu. Pro formuláře a navigaci je praktický lokální emulátor. Pro Bluetooth nebo skutečné přerušení aplikace telefonním hovorem potřebujete odpovídající fyzické zařízení. Cloud rozšiřuje dostupnou matici telefonů, ale přidává fronty, síťová omezení a pravidla poskytovatele.

Volba prostředí podle testu a provozních omezení.
ProstředíKde běžíVhodné použitíHlavní omezení
Android EmulatorLinux, macOS, WindowsFunkční regrese a varianty systémuVyžaduje vhodnou akceleraci; nenahradí skutečný hardware
iOS SimulatormacOS s XcodeNavigace a aplikační logika přes UIPotřebuje sestavení pro simulátor
Vlastní fyzická zařízeníTelefon připojený k řídicímu strojiSenzory, výkon, konkrétní modelyÚdržba, párování, nabíjení a rezervace
Cloudová farmaInfrastruktura poskytovateleŠirší matice zařízení a systémůPodpora frameworků, síťový přístup a účtování

Pro Android na Linuxu ověřte dostupnost KVM ještě před instalací celé sady. Virtuální server nemusí poskytovat vnořenou virtualizaci. To, že na něm spustíte běžný kontejner, neznamená, že na něm poběží hardwarově akcelerovaný emulátor. Stejnou podmínku kontrolujte u hostovaných CI runnerů.

Agent může běžet jinde než telefon. Praktická architektura odděluje orchestrátor, pracovní stroj se zařízením a testovací backend. Mezi nimi přenášíte úzce vymezené příkazy a artefakty. Celou vzdálenou plochu ani přímý přístup k operačnímu systému není nutné modelu automaticky zpřístupňovat.

Android emulátor na Linuxu krok za krokem

Na vývojářském počítači vytvoříte virtuální zařízení přes Device Manager v Android Studiu. Pro automatizaci použijte Android SDK Command-line Tools, správce balíčků sdkmanager a správce zařízení avdmanager. Postup vytváření zařízení uložte vedle testů, aby nebyl závislý na ručním nastavení notebooku.

Následující příklad předpokládá Linux x86_64, funkční KVM, nainstalované Command-line Tools, přijaté licence SDK a APK v pracovním adresáři. Používá API level 35 jako pevnou testovací konfiguraci, nikoli jako doporučení nejnovější verze. Přípravu AVD spusťte jednou, běhovou část při každém testu.

Bash
#!/usr/bin/env bash
set -euo pipefail

export ANDROID_HOME="${ANDROID_HOME:-$HOME/Android/Sdk}"
export PATH="$ANDROID_HOME/cmdline-tools/latest/bin:$ANDROID_HOME/platform-tools:$ANDROID_HOME/emulator:$PATH"

# Jednorázová příprava; licence SDK musí být předem přijaty.
sdkmanager "platform-tools" "emulator" \
  "system-images;android-35;google_apis;x86_64"
echo no | avdmanager create avd --force \
  --name agent-api35 \
  --package "system-images;android-35;google_apis;x86_64"

# Jeden samostatný worker, jeden AVD, volný port 5554.
emulator -accel-check
emulator -avd agent-api35 -port 5554 \
  -no-window -no-audio -no-snapshot -wipe-data \
  > emulator.log 2>&1 &
EMULATOR_PID=$!
trap 'kill "$EMULATOR_PID" 2>/dev/null || true' EXIT

export ANDROID_SERIAL=emulator-5554
ready=0
for ((i=0; i<90; i++)); do
  kill -0 "$EMULATOR_PID" 2>/dev/null || {
    cat emulator.log
    exit 1
  }
  boot=$(adb shell getprop sys.boot_completed 2>/dev/null | tr -d '\r' || true)
  if [[ "$boot" == "1" ]]; then
    ready=1
    break
  fi
  sleep 2
done
[[ "$ready" == "1" ]] || {
  echo "Emulátor nenaběhl v časovém limitu" >&2
  exit 1
}

adb install -r ./app-debug.apk
# Zde spusťte testy; trap po skončení ukončí emulátor.

Smyčka čeká až 180 sekund plus dobu jednotlivých příkazů. Pevný spánek by na pomalém stroji nestačil a na rychlém zdržoval. Parametr -wipe-data čistí uživatelská data virtuálního zařízení, ne vzdálený backend. Pro souběžné běhy přidělte každému workeru vlastní AVD, porty a adresář s artefakty.

Na Apple Silicon zvolte odpovídající obraz ARM64; nepřebírejte x86_64 konfiguraci bez kontroly hostitele. Parametry ověřte v dokumentaci spouštění emulátoru. Ze standardního Android Emulatoru je hostitelský loopback dostupný přes adresu 10.0.2.2.

iOS simulátor potřebuje macOS a Xcode

iOS Simulator provozujte na Macu s Xcode a nainstalovaným runtime požadovaného systému. Linuxový runner může zadat práci vzdálenému Macu, simulátor však lokálně nespustí. V automatizaci ukládejte konkrétní verzi Xcode i runtime, protože jejich změna může ovlivnit sestavení, systémové dialogy i výsledky testů.

Pro ovládání zařízení slouží xcrun simctl. Nejprve vypište dostupné simulátory a vyberte konkrétní UDID. Nepoužívejte neurčité „právě spuštěné zařízení“, pokud na stroji běží více úloh. Následující příklad očekává vypnutý simulátor a aplikaci sestavenou pro simulátor, nikoli distribuční IPA pro iPhone.

Bash
#!/usr/bin/env bash
set -euo pipefail

xcrun simctl list devices available

# Proměnné nastavte podle výpisu a svého sestavení.
: "${SIMULATOR_UDID:?Nastavte UDID vypnutého simulátoru}"
: "${APP_PATH:?Nastavte cestu k simulatorovému balíčku .app}"
: "${BUNDLE_ID:?Nastavte bundle identifier aplikace}"

xcrun simctl boot "$SIMULATOR_UDID"
trap 'xcrun simctl shutdown "$SIMULATOR_UDID" || true' EXIT
xcrun simctl bootstatus "$SIMULATOR_UDID" -b
xcrun simctl install "$SIMULATOR_UDID" "$APP_PATH"
xcrun simctl launch "$SIMULATOR_UDID" "$BUNDLE_ID"

# Zde spusťte testovací framework.
xcrun simctl io "$SIMULATOR_UDID" screenshot ./ios-start.png

Příkaz simctl připraví prostředí, ale sám nepředstavuje kompletní nástroj pro hledání a mačkání prvků rozhraní. K tomu přidejte Maestro, Appium s ovladačem XCUITest nebo vlastní XCUITest testy. Také zde nastavte nadřazený časový limit celé CI úlohy, aby čekání na zařízení nemohlo zablokovat frontu.

Fyzický iPhone vyžaduje další přípravu: párování, důvěryhodný počítač, odpovídající podepisování a podle systému také vývojářský režim. U Appia řešte instalaci a podpis WebDriverAgentu. Funkční průchod na simulátoru proto neznamená, že stejný balíček a stejná konfigurace půjdou bez úprav přenést na telefon.

Reálné telefony a cloudová testovací farma

Android telefon připojte přes USB, povolte ladění a potvrďte klíč řídicího počítače. Příkaz adb devices -l musí zařízení ukázat jako dostupné, nikoli neautorizované. Veškeré další příkazy směrujte na konkrétní sériové číslo. Jinak souběžný běh může instalovat aplikaci nebo mazat data na nesprávném telefonu.

Vlastní farma potřebuje rezervace zařízení, dohled nad připojením a obnovu po pádu. Test není jediný proces, který může telefon zablokovat: problémem bývá zamčená obrazovka, systémová aktualizace i odpojený USB hub. Před přidělením zařízení ověřte jeho stav a po běhu odstraňte účty a citlivé artefakty.

Cloudovou farmu neberte automaticky jako vzdálený telefon pro živého agenta. Firebase Test Lab přijímá podporované testovací úlohy a vrací výsledky. To je jiný provozní model než dlouhá interaktivní relace, ve které model po každé akci vybírá další krok.

Před výběrem poskytovatele ověřte podporovaný framework, možnost vzdálené relace a dosažitelnost neveřejného backendu. Zjistěte také přístup k videu, systémovým logům a síťovým záznamům. Agent může generovat testy pro dávkovou farmu, ale samotná dostupnost zařízení ještě nedokazuje podporu jeho ovládací smyčky.

Maestro, Appium a nativní testovací nástroje

Ovládací vrstvu vybírejte podle operací, které opravdu potřebujete. Maestro se hodí pro čitelné průchody popsané v YAML. Appium nabízí programové relace a platformní ovladače. Nativní frameworky využijete tam, kde test těsně spolupracuje s aplikací a potřebuje platformní synchronizaci nebo specializované kontroly.

Rozdělení nástrojů podle role v agentním testování.
NástrojSilná stránkaNa co dát pozor
MaestroDeklarativní průchody a snadná kontrola scénářůOvěřit podporu cílového zařízení a potřebných interakcí
AppiumProgramové ovládání přes ovladače UiAutomator2 a XCUITestSpráva ovladačů, relací a platformních závislostí
Espresso / XCUITestPlatformní testy blízko aplikaciOddělená implementace pro Android a iOS
Vizuální ovládání podle screenshotuPrůzkum rozhraní bez použitelných selektorůSouřadnice, rozlišení a nejednoznačný stav obrazovky

Pro běžnou regresní sadu doporučujeme stabilní selektory, ne souřadnice. Aplikace má vystavovat identifikátory testovaných prvků přes platformní mechanismy. Ověřte, jak je konkrétní framework skutečně vidí: vlastnost pojmenovaná testID se nemusí ve všech technologiích a obou systémech mapovat stejně.

U hybridní aplikace rozlišujte nativní obrazovku a obsah WebView. Appium může pracovat s různými kontexty, ale jejich dostupnost závisí na konfiguraci aplikace a ovladače. U rozhraní vykresleného do canvasu nemusí strom prvků poskytovat potřebné ovládací body. To ověřte malým prototypem před návrhem celé sady.

Scénář musí mít data i ověřitelný výsledek

Zadání „otestuj přihlášení“ není reprodukovatelný scénář. Chybí účet, počáteční stav, očekávaná navigace i definice chyby. Agentovi předejte testovací kontrakt, ze kterého vznikne deterministický průchod. U průzkumu určete alespoň oblast, zakázané operace a podmínku, kdy se má běh zastavit a předat člověku.

  • Identita scénáře: jednoznačné ID, účel a vazba na požadavek.

  • Výchozí stav: sestavení aplikace, zařízení, jazyk, oprávnění a přihlášení.

  • Testovací data: vyhrazený účet, připravené záznamy a identifikátor běhu.

  • Akce: konkrétní kroky včetně čekání na pozorovatelnou podmínku.

  • Očekávání: stav rozhraní a případně nezávisle ověřená změna backendu.

  • Úklid: odstranění vytvořených dat a ukončení relace i při selhání.

Následující ukázka pro Maestro předpokládá existující testovací účet a identifikátory dostupné v hierarchii rozhraní. Balíček i selektory jsou ilustrační a musíte je nahradit vlastními. Přihlašovací údaje předává testovací proces; nepatří do repozitáře ani do konverzace s modelem.

YAML
appId: cz.example.mobile
---
- launchApp:
    clearState: true
- assertVisible:
    id: "login_email"
- tapOn:
    id: "login_email"
- inputText: ${TEST_EMAIL}
- tapOn:
    id: "login_password"
- inputText: ${TEST_PASSWORD}
- tapOn:
    id: "login_submit"
- extendedWaitUntil:
    visible:
      id: "account_home"
    timeout: 15000
- assertVisible:
    id: "account_home"

Limit 15 sekund je příklad testovacího timeoutu, nikoli příslib odezvy aplikace. Samotné vyčištění stavu nenahrazuje přípravu serverových dat; na iOS navíc samostatně prověřte chování Keychainu. Podporované příkazy a jejich parametry ověřujte v dokumentaci Maestro.

U objednávky nestačí zelené potvrzení. Přes testovací API ověřte existenci záznamu, správného vlastníka a očekávaný stav. Přidejte neplatný vstup, ztrátu spojení a opakované odeslání. Právě poslední případ prověří idempotenci, kterou samotný screenshot neprokáže.

Jak propojit agenta s ovládáním aplikace

Agentovi nabídněte malou sadu typovaných nástrojů. Místo neomezeného shellu zpřístupněte operace pro snímek obrazovky, strom prvků, klepnutí, zadání hodnoty a spuštění schváleného scénáře. Adaptér je přeloží do příkazů frameworku. Dostupné akce mají odpovídat schopnostem konkrétního zařízení a aktivní relace.

U Appia drží adaptér relaci a vykonává příkazy přes platformní ovladač. Nastavení serveru, ovladačů a požadovaných parametrů relace popisuje oficiální dokumentace Appium. Samotná instalace serveru ještě nezajišťuje připravený Android ani podepsaný WebDriverAgent.

  1. Získejte aktuální screenshot a strom prvků s identifikátorem pozorování.

  2. Nechte agenta navrhnout jednu akci navázanou na toto pozorování.

  3. Ověřte oprávnění, cílový prvek, platnost relace a zbývající rozpočet.

  4. Proveďte akci a vyčkejte na konkrétní změnu stavu.

  5. Uložte výsledek a nezávisle vyhodnoťte kontrolní podmínky scénáře.

Jako počáteční ochranu navrhujeme limit 30 akcí a 5 minut na průzkumný běh. Jde o nastavitelné provozní hranice, ne limity frameworku. Při jejich vyčerpání vraťte neuzavřený výsledek a artefakty. Nekonečné opakování klepnutí není pokrok a nemá spotřebovat celý rozpočet zařízení ani modelu.

Transport může být CLI nebo MCP; důležitější je omezený kontrakt nástrojů. Rozhodování rozebírá naše srovnání CLI a MCP pro automatizaci. Přenosový protokol sám neřeší rezervaci telefonu, bezpečnost příkazů ani správnost testovacích očekávání.

Izolace dat a bezpečnost testovacího prostředí

Testovací agent nesmí používat produkční zákaznický účet. Připravte oddělený backend, syntetická data a účet s minimálními oprávněními. Platební operace směrujte do sandboxu a skutečné SMS či e-maily do zachytávací služby. Ochranu vynucujte serverem a sítí, nikoli pouze větou v instrukcích modelu.

Každý běh potřebuje vlastní datový prostor nebo alespoň jednoznačný identifikátor. Sdílený účet vede k tomu, že jeden test odhlásí druhý a souběžné změny znehodnotí očekávání. Úklid provádějte i po pádu procesu; vedle běžného dokončovacího kroku proto provozujte odstraňování osiřelých testovacích dat.

Obsah aplikace je pro model nedůvěryhodný vstup. Text v chatu nebo produktovém popisu může obsahovat instrukci k odeslání dat či změně testu. Agent ji musí chápat jako obsah obrazovky, ne jako příkaz operátora. Adaptér má odmítnout nepovolenou operaci bez ohledu na to, jak ji model zdůvodní.

Screenshoty a logy mohou obsahovat hesla, osobní údaje i přístupové tokeny. Omezte jejich obsah už při vytváření testovacích účtů, nastavte přístupy a retenční pravidla. ADB ani Appium server nevystavujte přímo internetu. Vzdálený přístup veďte přes autentizovanou řídicí službu a izolovanou síť.

Spouštění v CI a diagnostika selhaných testů

Do CI/CD nejprve připojte deterministickou sadu bez živého rozhodování modelu. Pipeline sestaví aplikaci, připraví data, rezervuje zařízení a spustí testy. Agent následně analyzuje neúspěšné běhy. Průzkumné relace provozujte odděleně, aby jejich proměnlivost neblokovala každou změnu kódu.

Matici zařízení odvoďte od podpory produktu. Jako výchozí plán ověřujte nejnižší podporovanou a nejvyšší podporovanou verzi systému; konkrétní modely doplňte podle uživatelů. Násobení všech jazyků, rozlišení a systémů rychle zvětší počet úloh. Rozsáhlejší kombinace proto oddělte od rychlé kontroly změny.

  • Identifikátor sestavení, revizi testu a přesnou konfiguraci zařízení.

  • Snímky před chybnou akcí a po ní, případně záznam obrazovky.

  • Posloupnost příkazů, selektory, časování a návratové hodnoty nástrojů.

  • Logy aplikace, systémové záznamy a dostupný crash report.

  • Identifikátor testovacích dat a související serverové požadavky.

  • U agentního běhu verzi modelu, instrukcí a použitých nástrojů.

Rozlišujte chybu aplikace, infrastruktury, testu a rozhodnutí agenta. Odpojený telefon není regrese přihlášení. Doporučujeme nejvýše 1 automatické opakování pro diagnostiku a zachování obou výsledků. Úspěch druhého běhu nevymaže první selhání; označí nestabilitu, kterou je třeba dál vyšetřit.

Náklady počítejte jako čas zařízení, runneru, modelu a lidské diagnostiky. Pro plánování například 12 scénářů na 3 konfiguracích znamená 36 průchodů ještě před opakováním. Tento výpočet pomůže odhalit, zda rozpočet spotřebovává skutečné ověřování, dlouhý start emulátoru, nebo agent zaseknutý na jediné obrazovce.

Zavedení začněte jedním kritickým průchodem

První pilot postavte na průchodu, který má jasný obchodní výsledek: přihlášení, vytvoření rezervace nebo odeslání formuláře. Připravte stabilní data a kontrolu backendu. Stejný scénář spusťte lokálně i v CI a teprve po odstranění rozdílů přidejte agenta. Jinak budete současně ladit příliš mnoho neznámých.

Přínos vyhodnocujte podle reprodukovatelných nálezů a času potřebného k diagnostice, ne podle počtu kliknutí. Každý potvrzený problém převeďte do schváleného regresního testu. Agent tak postupně rozšiřuje trvalou testovací sadu místo toho, aby při každém spuštění znovu improvizoval stejné základní průchody.

Pokud testovatelnost řešíte společně s novou aplikací, stránka vývoje mobilních aplikací popisuje navazující realizaci produktu. Stabilní identifikátory, oddělené prostředí a diagnostiku je vhodné zahrnout už do zadání, nikoli je doplňovat až po prvním nestabilním vydání.

Spolehlivé testování mobilních aplikací stojí na ovladatelném zařízení, izolovaných datech a nezávislém ověření výsledku. AI agent nad tím přidává průzkum a diagnostiku. Když tyto vrstvy oddělíte, získáte automatizaci, která chyby nejen nachází, ale také dokáže doložit a opakovat bez slepé důvěry v model.

KATEGORIE:

SDÍLET:

Časté otázky

Může AI agent testovat aplikaci bez přístupu ke zdrojovému kódu?
Ano, pokud má instalovatelný sestavený balíček, přístup k zařízení a nástroj pro ovládání rozhraní. Může procházet obrazovky, zadávat hodnoty a zaznamenávat chyby. Bez stabilních identifikátorů prvků a přístupu k testovacím datům ale hůře rozlišuje skutečnou chybu od nesprávné přípravy prostředí. Pro ověření serverových změn potřebuje také důvěryhodný kontrolní kanál, nikoli pouze snímek obrazovky.
Stačí pro automatické testy mobilní aplikace emulátor?
Pro velkou část funkčních regresních testů ano, pro rozhodnutí o vydání aplikace samotný emulátor nestačí. Skutečný telefon potřebujete zejména pro ověření kamery, Bluetooth, biometrie, výkonu a chování aplikace na pozadí. Konkrétní výběr zařízení odvozujte od podporovaných systémů, používaného hardwaru a zastoupení telefonů mezi uživateli, nikoli od toho, které zařízení má vývojář právě na stole.
Lze spouštět iOS simulátor na linuxovém CI serveru?
Ne, iOS Simulator dodávaný s Xcode vyžaduje macOS. Linuxový server může řídit úlohu vzdáleně, samotný simulátor ale musí běžet na Macu. Pro automatizaci proto potřebujete vlastní macOS pracovní stroj nebo odpovídající cloudový runner. Samostatně řešte dostupný runtime systému, kapacitu souběžných běhů a rozdíl mezi balíčkem sestaveným pro simulátor a balíčkem pro fyzický iPhone.
Může AI agent automaticky opravovat neúspěšné testy?
Může navrhnout opravu, ale neměl by ji sám schválit a použít jako důkaz bezchybné aplikace. Změna selektoru může být legitimní údržba; odstranění kontroly výsledku naopak skryje regresi. Návrh opravy proto ukládejte odděleně, vyžadujte kontrolu změn člověkem a zachovejte původní neúspěšný běh včetně logů. Očekávané chování musí vycházet ze zadání, ne z aktuálního chování aplikace.

Zdroje

  1. Spouštění Android Emulatoru z příkazové řádky (otevře se v novém okně)primární zdrojAndroid Developers
  2. Hardwarová akcelerace Android Emulatoru (otevře se v novém okně)primární zdrojAndroid Developers
  3. Running your app in Simulator or on a device (otevře se v novém okně)primární zdrojApple Developer
  4. Dokumentace Appium (otevře se v novém okně)primární zdrojAppium
  5. Dokumentace Maestro (otevře se v novém okně)primární zdrojMaestro
  6. Firebase Test Lab (otevře se v novém okně)primární zdrojFirebase

Komentáře (0)

Načítám komentáře...

Přidat komentář

Váš email nebude zveřejněn. Všechny komentáře procházejí schválením administrátorem.

Tento web je chráněn službou reCAPTCHA a platí Zásady ochrany osobních údajů a Smluvní podmínky společnosti Google.