7. Metódy vyhodnotenia

Technická správnosť a pedagogický účinok sa vyhodnocujú oddelene. Vyhodnotenie má overiť štyri tvrdenia:

1. výsledok každej kontroly zodpovedá opísanému priradeniu a opakované alebo chýbajúce doručenie nespôsobí stratu ani zdvojenie údajov,
2. výsledok kontroly sa zhoduje s posúdením cvičiaceho priamo v GitLabe,
3. cvičiaci s GitPulse odpovie na bežné otázky rýchlejšie a s menej prechodmi medzi stránkami a systém považuje za použiteľný,
4. študent s prístupom k vlastnému prehľadu vie povedať, ktorý krok mu chýba.

7.1 Postup

• Technické overenie: automatické testy pri každom vydaní a prevádzkové metriky počas semestra. Kritérium je, aby aspoň 95 % udalostí bolo spracovaných do minúty a každé zlyhanie malo známu príčinu.
• Zhoda s ručným hodnotením: dokončené projekty predmetu Základy softvérového inžinierstva z letného semestra 2025/2026, vzorka aspoň tridsiatich študentov, dvaja nezávislí cvičiaci. Pri každej kontrole podiel zhody, obidva druhy nezhody a Cohenov koeficient kapa. Pri priamo uložených stavoch sa očakáva zhoda aspoň 95 %, pri zástupných ukazovateľoch sa nezhody triedia podľa príčiny.
• Skúška s cvičiacimi: päť úloh, štyri z nich raz len s GitLabom a raz s GitPulse, meria sa čas a počet prechodov. Nasleduje dotazník System Usability Scale s kritériom aspoň 68 bodov a krátky rozhovor.
• Spätná väzba študentov: anonymný dotazník po odovzdaní tímového projektu počas živého nasadenia.
• Asistent cvičení: jedno cvičenie v projektoch na precvičenie, počet dokončených cvičení a vzorka komentárov posúdená cvičiacim.

7.2 Harmonogram

Meranie zhody a skúška s cvičiacimi prebehnú v zimnom semestri 2026/2027 nad dokončenými projektmi, ich vyhodnotenie je plánované do marca 2027. Živé nasadenie začne s letným semestrom 2026/2027. Údaje oboch behov oddelí akademické obdobie kurzu. Účasť cvičiacich aj študentov je dobrovoľná, výsledky sa uvedú súhrnne a bez mien.