Changes between Version 24 and Version 25 of VyhodnoceniSumarizaceManual

Timestamp:

Feb 24, 2022, 6:45:32 PM (2 years ago)

Author:

xhajek9

Comment:

--

VyhodnoceniSumarizaceManual

@@ -15 +15 @@
 Tabulka odpovědí obsahuje čtyři sloupce a 1 nebo 3 řádky (podle toho, jestli jde o generování abstraktu nebo nadpisu). Řádky "Sentence1", "Sentence2", ... se týkají odpovídajících vět v sekci Generated označených znakem "•".
 
-! V kazdém sloupci (Special cases, Mapping, Meaning) smí být maximálně jedno zaškrtlé políčko (např. OK nebo Repetitive nebo Sentence missing) !
+! V každém sloupci (Special cases, Mapping, Meaning) smí být maximálně jedno zaškrtlé políčko (např. OK nebo Repetitive nebo Sentence missing) !
 ! Pro každou větu vyplníme buďto první sloupec (Special cases) NEBO ty zbylé (Mapping, Meaning)!
 
@@ -85 +85 @@
               - Generated:   ''Trenér Nigel Pearson se obává dalších zranění, zatímco jeho mužstvo pokračuje v boji o přežití.''
 
+`Mistake explanation`
+   - pole pro bližší textovou specifikaci chyby pro porovnaní přítupu jednotlivých anotátorů k vyhodnocení
+   - není strojově kontrolované, ale zásadně nám pomůže v hodnocení konzistence odpovědí
+   - např. věta o trenéru Nigelovi (výše)
+        - Mistake explanation: Vynechání slov "v Premiere League" mění význam sousloví "boj o přežití".
+
 
 Další praktické příklady (angl.) lze dohledat v [https://aclanthology.org/2020.eval4nlp-1.1.pdf článku].
@@ -90 +96 @@
 
 == Možné problémy ==
+Při vyplňování jsme narazili na následující možné potíže:
+   - je potřeba zkontrolovat, že zobrazený dotazník má zaškrtávací políčka ve tvaru ČTVERCE a nikoliv KOLEČKA (tedy multiple answer a ne single answer)
+      => ŘEŠENÍ: použití jiného prohlížeče než Chrome (pokud zobrazuje špatně) - Mozzila by měla fungovat, mobilní verze Chrome mi taky fungovala. Nemám moc jak dále chybu testovat.
+   - přestože vyplnění **Mistake explanation** není povinně vyžadované (pro případ, že věta, neobsahuje chybu), systém ho u některých otázek vyžaduje a odmítá uživateli dotazník odevzat (zaznamenáno u INPUTU 575)
+      => ŘEŠENÍ: pokud situace nastane, doplňte do textových polí libovolný text (např. OK v případě bezchybných vět), při yhodnocení si s tím poradíme.
 
+Jakékoliv problémy prosím hlaste na 485410@mail.muni.cz, pokusím se co nejpružněji reagovat.
+
+ 
+