| | 1 | = Vyhodnocení výstupu GPT-2 abstraktivní sumarizace = |
| | 2 | == Anotační manuál == |
| | 3 | |
| | 4 | Cílem je ... |
| | 5 | |
| | 6 | === Technické předpoklady === |
| | 7 | |
| | 8 | Anotace se provádí ... |
| | 9 | |
| | 10 | Abstraktu je přiřazen seznam o třech prvcích (3 věty v každém abstraktu) |
| | 11 | Větám je přiřazena dvojice `(A, (B, C))` kde: |
| | 12 | - `A` = typ chyby v `Mapping` {`1`, ..., `5`} |
| | 13 | - `B` = kategorie chyby v `Malformed` {`1`, `2`} |
| | 14 | - `C` = typ chyby v `Malformed` {`a`, `b`, `c`} |
| | 15 | |
| | 16 | - použití `None` místo seznamu v případě, že je v sumarizaci méně než tři věty (zřídka) |
| | 17 | - k nové přidanému `Repetitive` vyjádření pak přiřadit: `(5, None)` - žádná další chyba by |
| | 18 | tam totiž z definice neměla být |
| | 19 | - kromě `(5, None)` vždy přiřadit jak `Mapping`, tak `Misleading` |
| | 20 | - pokud je věta celá v pořádku, označujeme ji `"OK"` |
| | 21 | |
| | 22 | === Obecné rady === |
| | 23 | |
| | 24 | * |
| | 25 | |
| | 26 | === Vysvětlení hodnot anotace === |
| | 27 | |
| | 28 | `Mapping`: |
| | 29 | - pomáhá odhalit PŘÍČINU chyby |
| | 30 | - povrchová hladina |
| | 31 | - jak sumarizátor používá slova a věty k vytvoření chyby v abstraktu |
| | 32 | - hodnoty: |
| | 33 | 1. `Omission`: zkopírování věty/fráze, ale vynechání slova/fráze |
| | 34 | 2. `Wrong combination`: kopírování části z více různých vět a jejich chybová kombinace |
| | 35 | 3. `Fabrication`: přidání jednoho nebo více nových slov, které způsobí chybu |
| | 36 | 4. `Lack of rewriting`: chybné přepsání vět (např. nedostatečný kontext, chybné nahrazení |
| | 37 | referenčních výrazu nepůvodním objektem) |
| | 38 | 5. `Repetitive` (přidáno): Repetitivní vyjádření, jinak všechno ok |
| | 39 | `Meaning`: |
| | 40 | - EFEKT chyby (`Malformed` má přednost před `Misleading`, je méně častá) |
| | 41 | - kategorie a typy: |
| | 42 | 1. `Malformed`: čtenář se zaráží nad kvalitou, ale věta není zavádějící/lživá |
| | 43 | a. `Ungrammatical`: syntakticky poškozena/nepřirozená věta, mluvčí by ji takto neřekl |
| | 44 | b. `Semantically implausible`: sémantický nesmyslná/nepřirozená věta |
| | 45 | c. `No meaning can be inferred`: |
| | 46 | - gramaticky správná věta, které není možné přiřadit význam |
| | 47 | - většinou spojené s `Lack of rewriting` - chybí kontext a tím věta ztrácí |
| | 48 | význam |
| | 49 | 2. `Misleading`: můžou navodit nesprávné přesvědčení, nevyvoditelné z článku |
| | 50 | a. `Meaning changed, not entailed`: význam věty nelze vyvodit z článku (v kontextu sumarizace) |
| | 51 | b. `Meaning changed, contradiction`: význam věty má opačný |
| | 52 | nebo JINÝ význam než vyvozujeme z článku (v kontextu sumarizace) |
| | 53 | c. `Pragmatic meaning changed`: věta nabývá PRAGMATICKÉHO významu, který v článku |
| | 54 | není, nebo se PRAGMATICKÝ význam vytrácí (v kontextu sumarizace) |
| | 55 | |
| | 56 | např. byla použita obrazná věta a její význam se v sumarizaci změnil nebo |
| | 57 | vytratil (zní, že je myšlen doslovně) |
| | 58 | |
| | 59 | Praktické příklady (angl.) lze dohledat v [https://aclanthology.org/2020.eval4nlp-1.1.pdf článku]. |
| | 60 | |
| | 61 | |
| | 62 | ------------ |
| | 63 | = Pro inspiraci: Manipulativní techniky propagandy v době internetu = |
| | 64 | == Anotační manuál == |
| | 65 | |
| | 66 | [[Image(https://nlp.fi.muni.cz/trac/propaganda/raw-attachment/wiki/ZpravaFI2017/propaganda_scr.png,width=50%,right)]] |
| | 67 | |
| | 68 | Cílem je vyznačit v textech článků ze zpravodajských webových portálů přítomnost stanovených manipulativních technik. U každého článku je potřeba přiřadit hodnotu několika atributům, které jsou v pravé části obrazovky (doporučujeme pracovat na velkém monitoru). |
| | 69 | |
| | 70 | Atributy dělíme na 2 typy: ''atributy s rozsahem'' a ''dokumentové atributy''. K atributům s rozsahem je kromě určení jejich hodnoty navíc potřeba vyznačit odpovídající část/části textu. Rozsah se vybírá kliknutím na první a poslední slovo následované kliknutím na název atributu, ke kterému rozsah patří (pro výběr pouze jednoho slova na něj klikněte dvakrát). Nevyplněný rozsah se indikuje červenou ikonkou `<>` u příslušného atributu. |
| | 71 | |
| | 72 | Při každé akci se zobrazí nahoře v okně hláška o úspěšném uložení údajů. |
| | 73 | |
| | 74 | {{{#!comment |
| | 75 | Anotační editor je dostupný [https://nlp.fi.muni.cz/projekty/propaganda/edit zde]. Před vlastním anotováním se musíte v aplikaci nejprve přihlásit svým loginem na FI. |
| | 76 | }}} |
| | 77 | |
| | 78 | === Technické předpoklady === |
| | 79 | |
| | 80 | Aplikace je vyvíjena a testována s webovým prohlížečem **Google Chromium**. V jiných prohlížečích může fungovat také, ale je možné, že některé interaktivní funkce nebudou korektní. Pro jednoduchost prosím použijte Chromium. |
| | 81 | |
| | 82 | === Obecné rady === |
| | 83 | |
| | 84 | * Vyvarujte se nechávání hodnot `===NONE===` ve formuláři. |
| | 85 | * V případě potřeby je možné nahlédnout na originální článek, použijte odkaz z názvu článku. |
| | 86 | * Zpětnou vazbu (něco nefunguje, něco není jasné) posílejte na adresu: propaganda@aurora.fi.muni.cz |
| | 87 | * Po vyplnění všech atributů můžete přejít na další dokument odkazem vpravo nahoře. |
| | 88 | * Anotujte sami a nekonzultujte anotace s dalšími studenty. |
| | 89 | * Hodnocení anotací bude provedeno podle množství anotovaných článků a pečlivosti anotací včetně rozsahů |
| | 90 | |
| | 91 | === Vysvětlení atributů s rozsahem === |
| | 92 | |
| | 93 | * Místo (EU/ČR/USA/jiná země/nelze určit/Rusko) |
| | 94 | * jaká je hlavní lokace, které se článek týká |
| | 95 | * v textu vyznačte přímo frázi označující danou lokaci nebo, pokud tam lokace konkrétně není, tak tu část textu, podle které čtenář lokaci odhaduje, např. "'''Německá policie zasáhla''' proti ..." `->` Německo/jiná země |
| | 96 | * [https://cz.sputniknews.com/svet/201611014052058-Rusko-Japonsko-priprava-mirova-smlouva/ příklad Rusko] |
| | 97 | * Vina (ano/ne/nevím) |
| | 98 | * je v textu na někoho svalována vina? |
| | 99 | * v textu by mělo být zřetelné co je vina (co se vytýká) a kdo je viník (na koho se svaluje) |
| | 100 | * [http://www.svetkolemnas.info/novinky/zahranicni/4011-v-oklahome-mozna-bude-potrat-kvalifikovan-jako-vrazda-1-stupne příklad vina] |
| | 101 | * Nálepkování (ano/ne/nevím) |
| | 102 | * stereotypy, kolektivní vina |
| | 103 | * krátké jednoduché, úderné, výstižné, zapamatovatelné slovní spojení (ne celý odstavec), pejorativní |
| | 104 | * nejčastěji přídavná jména |
| | 105 | * může být i pozitivní |
| | 106 | * [http://www.svetkolemnas.info/novinky/zahranicni/4012-cizi-agenti-jsou-mezi-nami příklad nálepkování] |
| | 107 | * Argumentace (ano/ne/nevím) |
| | 108 | * pokud se jenom něco konstatuje (že se něco stalo), tak NE |
| | 109 | * pokud působí jako argument (logický nebo emotivní), tak ANO |
| | 110 | * logika může být zdánlivá a ne nutně úplná - jak to působí na čtenáře |
| | 111 | * [http://www.svetkolemnas.info/novinky/zahranicni/4019-obama-vlade-by-melo-byt-dovoleno-dostat-se-kdykoliv-do-jakehokoliv-mobilniho-telefonu příklad argumentace] |
| | 112 | * Obsažené emoce (rozhořčení/strach/nenávist/...) |
| | 113 | * jakou převažující emoci text ve čtenáři vyvolává? |
| | 114 | * emotivně zabarvené výrazy, nezáleží na obsahu, ale na emoci, kterou má text vyvolat |
| | 115 | * [http://www.svetkolemnas.info/novinky/zahranicni/4022-rusti-chlapci-v-nemecku-se-s-drzymi-migranty-nemazlili-takhle-necekane-to-dopadlo příklad emoce (rozhořčení)] |
| | 116 | * [http://www.svetkolemnas.info/novinky/domaci/4023-pozor-je-vydavatel-britskych-listu-jan-culik-je-udavac-prevleceny-za-novinare příklad emoce (nenávist)] |
| | 117 | * [http://www.svetkolemnas.info/novinky/zahranicni/4034-vrcholny-dansky-imam-priznal-agendu-pro-muslimy-cilem-je-dobyt-evropu příklad emoce (strach)] |
| | 118 | * Démonizace |
| | 119 | * je nepřítel v textu démonizován? |
| | 120 | * musí být definovaný nepřítel, většinou velmi negativní |
| | 121 | * destrukce, negativní zájmy/cíle |
| | 122 | * emotivně velmi vyhrocené nálepkování |
| | 123 | * [https://www.parlamentnilisty.cz/arena/rozhovory/-Hejtman-samopal-Martin-Puta-o-Zemanovi-Alespon-nekdo-vidi-ze-i-na-venkove-ziji-lide-Obcas-prestreli-ale-protistrana-se-chova-velmi-podobne-jako-on-424857 příklad démonizace] |
| | 124 | * Relativizace |
| | 125 | * relativizuje se negativní konání Ruska/pozitivní zásluha Západu? |
| | 126 | * většinou použita pro zmírnění něčeho negativního |
| | 127 | * [https://www.parlamentnilisty.cz/arena/rozhovory/-Hejtman-samopal-Martin-Puta-o-Zemanovi-Alespon-nekdo-vidi-ze-i-na-venkove-ziji-lide-Obcas-prestreli-ale-protistrana-se-chova-velmi-podobne-jako-on-424857 příklad relativizace] |
| | 128 | * Strach |
| | 129 | * přesah do budoucna, apel na strach, nejistotu či ohrožení |
| | 130 | * např. zavírající se podniky, rušení soc. dávek |
| | 131 | * [https://www.parlamentnilisty.cz/arena/rozhovory/-Hejtman-samopal-Martin-Puta-o-Zemanovi-Alespon-nekdo-vidi-ze-i-na-venkove-ziji-lide-Obcas-prestreli-ale-protistrana-se-chova-velmi-podobne-jako-on-424857 příklad strach] |
| | 132 | * Fabulace |
| | 133 | * zveličování problémů, fámy, nepodložená tvrzení |
| | 134 | * [https://www.parlamentnilisty.cz/arena/rozhovory/-Hejtman-samopal-Martin-Puta-o-Zemanovi-Alespon-nekdo-vidi-ze-i-na-venkove-ziji-lide-Obcas-prestreli-ale-protistrana-se-chova-velmi-podobne-jako-on-424857 příklad fabulace] |
| | 135 | * Názor |
| | 136 | * obsahuje článek jasný osobní názor ''_autora_'' článku? |
| | 137 | * může mít i formu komentáře nebo sugestivně položené otázky v rozhovoru |
| | 138 | * [https://www.parlamentnilisty.cz/arena/rozhovory/-Hejtman-samopal-Martin-Puta-o-Zemanovi-Alespon-nekdo-vidi-ze-i-na-venkove-ziji-lide-Obcas-prestreli-ale-protistrana-se-chova-velmi-podobne-jako-on-424857 příklad (hejtman Martin Půta)] |
| | 139 | * Zdroj |
| | 140 | * je text/názor zaštítěn odkazem na jiný zdroj? |
| | 141 | * webové stránky, médium, dokumenty; i Facebook |
| | 142 | * [https://www.parlamentnilisty.cz/arena/rozhovory/-Kavarna-a-jeji-zahranicni-loutkovodici-nemohou-cekat-do-voleb-Musi-k-sesazeni-Zemana-pouzit-nedemokraticke-metody-odhaduje-vysokoskolsky-pedagog-461641 příklad zdroj (pořad ČT Máte slovo)] |
| | 143 | * Rusko |
| | 144 | * nemusíte vyplňovat (projeví se u Místo) |
| | 145 | * Odborník (ano/ne/nevím) |
| | 146 | * je text/názor zaštítěn odborníkem? |
| | 147 | * i zdánlivý (expert); musí být označen jménem, nikoli celá instituce |
| | 148 | * [https://www.parlamentnilisty.cz/arena/rozhovory/-Kavarna-a-jeji-zahranicni-loutkovodici-nemohou-cekat-do-voleb-Musi-k-sesazeni-Zemana-pouzit-nedemokraticke-metody-odhaduje-vysokoskolsky-pedagog-461641 příklad (pedagog)] |
| | 149 | * Politik N |
| | 150 | * označte v textu, předvyplní se automaticky |
| | 151 | * pokud se politik vyskytuje na více místech textu, je nejdůležitější vyznačení jeho plného jména (když v textu je). je možné označit i další výskyty (např. pouze zmínka o "prezidentovi", když z textu víme o kterém), ale kvůli časové náročnosti to není vyžadováno. |
| | 152 | * [https://www.parlamentnilisty.cz/arena/rozhovory/-Hejtman-samopal-Martin-Puta-o-Zemanovi-Alespon-nekdo-vidi-ze-i-na-venkove-ziji-lide-Obcas-prestreli-ale-protistrana-se-chova-velmi-podobne-jako-on-424857 příklad politik (Si Tin-Pching)] |
| | 153 | * Vyznění N (neutrální/negativní/pozitivní/velebící/nenávistné) |
| | 154 | * pokud jsou argumenty pro i proti => neutrální |
| | 155 | * [http://www.parlamentnilisty.cz/arena/monitor/-Donalde-preju-ti-to-vzkazuje-Ivana-Trump-Na-Vanoce-do-USA-leta-i-jeji-mama-ktera-zije-v-CR-Syn-vzpomina-na-dedu-Milose-462118 příklad vyznění (pozitivní)] |
| | 156 | |
| | 157 | === Atributy dokumentu === |
| | 158 | |
| | 159 | * Téma (migrační krize/domácí politika/...) |
| | 160 | * vyberte co se nejvíce hodí |
| | 161 | * [https://www.parlamentnilisty.cz/arena/rozhovory/-Hejtman-samopal-Martin-Puta-o-Zemanovi-Alespon-nekdo-vidi-ze-i-na-venkove-ziji-lide-Obcas-prestreli-ale-protistrana-se-chova-velmi-podobne-jako-on-424857 příklad téma (migrační krize)] |
| | 162 | * Žánr (zpravodajství/rozhovor/komentář) |
| | 163 | * zpravodajství: mezi normálními články, článek většinou má autora/redaktora |
| | 164 | * rozhovor obvykle obsahuje dialog (střídající se odstavce) |
| | 165 | * komentář: má vždy autora, slovo komentář v názvu |
| | 166 | * [http://www.parlamentnilisty.cz/arena/rozhovory/-Sedi-prase-na-Hrade-libuje-si-v-urade-Co-chcete-od-spolecnosti-ktera-tomu-tleska-Cechokanadan-Jirovec-ukazuje-v-zasadni-veci-na-Schwarzenberga-463944 příklad rozhovor] |
| | 167 | * Zaměření (zahraniční/domácí/nelze určit) |
| | 168 | * portály mají většinou zahraniční/domácí v URL |
| | 169 | * [https://www.parlamentnilisty.cz/arena/rozhovory/-Hejtman-samopal-Martin-Puta-o-Zemanovi-Alespon-nekdo-vidi-ze-i-na-venkove-ziji-lide-Obcas-prestreli-ale-protistrana-se-chova-velmi-podobne-jako-on-424857 příklad zaměření (zahraničí, viz URL)] |
| | 170 | * Celkové vyznění (neutrální/negativní/pozitivní) |
| | 171 | * [http://cz.sputniknews.com/svet/201611224173147-karjakin-porazka-carlsen-utkani-svetova-sachova-koruna příklad vyznění (neutrální)] |
| | 172 | * Obrázek (ano/ne/nevím) |
| | 173 | * je nutné nahlédnout do zdroje |
| | 174 | * obsahuje článek MANIPULATIVNÍ obrázek? |
| | 175 | * montáž |
| | 176 | * ANO pouze pokud má obrázek ovlivnit mínění; normální ilustrativní obrázky ignorujte |
| | 177 | * [http://www.svetkolemnas.info/novinky/zahady/4002-astronaut-willams-vyfotil-na-zemske-obezne-draze-neco-co-tam-nepatri příklad obrázek] |
| | 178 | * Video (ano/ne/nevím) |
| | 179 | * jako obrázek |
| | 180 | * Poznámka |
| | 181 | * nemusíte vyplňovat |
