Changes between Version 4 and Version 5 of VyhodnoceniSumarizaceManual
- Timestamp:
- Feb 20, 2022, 7:14:07 PM (2 years ago)
Legend:
- Unmodified
- Added
- Removed
- Modified
-
VyhodnoceniSumarizaceManual
v4 v5 27 27 - ! v případě, že vyplníme, musíme pro danou větu nechat ostatní sloupce prázdné 28 28 1. `OK`: ve větě jsme nenašli žádnou gramatickou ani faktickou chybu vzhledem k Input Text a zbytku Generated sumarizace. 29 2. `Repetitive`: věta se už v Generated sumarizaci vyskytla nebo měla některá z předchozích vět sumarizace zcela TOTOŽNÝ význam 29 2. `Repetitive`: věta se už v Generated sumarizaci vyskytla nebo měla některá z předchozích vět sumarizace zcela TOTOŽNÝ význam. Kromě repetice věta neobsahuje žádné faktické ani gramatické chyby. 30 30 3. `Sentence missing`: Generated sumarizace má chybný počet vět (např. abstrakt má jen dvě věty (•) => řádek pro Sentence3 je označen speciálním případem `Sentence missing`) 31 31 … … 37 37 - hodnoty: 38 38 1. `Omission`: zkopírování věty/fráze, ale vynechání slova/fráze 39 - např.: Input: (...) Trenér Nigel Pearson se obává dalších zranění, zatímco jeho mužstvo pokračuje v boji o přežití v Premiere League (...) 40 Generated: Trenér Nigel Pearson se obává dalších zranění, zatímco jeho mužstvo pokračuje v boji o přežití. 39 41 2. `Wrong combination`: kopírování části z více různých vět a jejich chybová kombinace 42 - např.: Input: (...) Hráči musí házet jídlo na dívku, která se objeví v jedné z devíti děr, a následně zmizí. Pokud hráč dívku mine, začne dívka ztrácet na váze, až nakonec zemře. (...) 43 Generated: Hráči musí házet jídlo na dívku, která se objeví v jedné z devíti děr, a následně zemře. 40 44 3. `Fabrication`: přidání jednoho nebo více nových slov, které způsobí chybu 45 - např.: Input: (...) Mauresmo, která by měla v srpnu porodit, bude zhruba v osmém měsíci během Wimbledonu toto léto. (...) 46 Generated: Mauresmo bude v osmém měsíci těhotenství se svým prvním dítětem. 41 47 4. `Lack of rewriting`: chybné přepsání vět (např. nedostatečný kontext, chybné nahrazení 42 48 referenčních výrazu nepůvodním objektem) 43 5. `Repetitive` (přidáno): Repetitivní vyjádření, jinak všechno ok 49 - např.: 50 44 51 `Meaning`: 45 - EFEKT chyby (`Malformed` má přednost před `Misleading`, je méně častá) 52 - EFEKT chyby 53 - ! `Malformed` má přednost před `Misleading` (je méně častá) 46 54 - kategorie a typy: 47 55 1. `Malformed`: čtenář se zaráží nad kvalitou, ale věta není zavádějící/lživá 48 56 a. `Ungrammatical`: syntakticky poškozena/nepřirozená věta, mluvčí by ji takto neřekl 57 - např.: 49 58 b. `Semantically implausible`: sémantický nesmyslná/nepřirozená věta 59 - např.: 50 60 c. `No meaning can be inferred`: 51 61 - gramaticky správná věta, které není možné přiřadit význam 52 62 - většinou spojené s `Lack of rewriting` - chybí kontext a tím věta ztrácí 53 63 význam 64 - např.: 54 65 2. `Misleading`: můžou navodit nesprávné přesvědčení, nevyvoditelné z článku 55 66 a. `Meaning changed, not entailed`: význam věty nelze vyvodit z článku (v kontextu sumarizace) 67 - např.: 56 68 b. `Meaning changed, contradiction`: význam věty má opačný 57 69 nebo JINÝ význam než vyvozujeme z článku (v kontextu sumarizace) 70 - např.: Input: (...) Hráči musí házet jídlo na dívku, která se objeví v jedné z devíti děr, a následně zmizí. Pokud hráč dívku mine, začne dívka ztrácet na váze, až nakonec zemře. (...) 71 Generated: Hráči musí házet jídlo na dívku, která se objeví v jedné z devíti děr, a následně zemře. 58 72 c. `Pragmatic meaning changed`: věta nabývá PRAGMATICKÉHO významu, který v článku 59 není, nebo se PRAGMATICKÝ význam vytrácí (v kontextu sumarizace) 60 61 např. byla použita obrazná věta a její význam se v sumarizaci změnil nebo 62 vytratil (zní, že je myšlen doslovně) 73 není, nebo se PRAGMATICKÝ význam vytrácí (v kontextu sumarizace) = např. byla 74 použita obrazná věta a její význam se v sumarizaci změnil nebo vytratil (zní, že je myšlen doslovně) 75 - např.: Input: (...) Trenér Nigel Pearson se obává dalších zranění, zatímco jeho mužstvo pokračuje v boji o přežití v Premiere League. (...) 76 Generated: Trenér Nigel Pearson se obává dalších zranění, zatímco jeho mužstvo pokračuje v boji o přežití. 77 63 78 64 79 Praktické příklady (angl.) lze dohledat v [https://aclanthology.org/2020.eval4nlp-1.1.pdf článku].
