Changes between Version 18 and Version 19 of VyhodnoceniSumarizaceManual


Ignore:
Timestamp:
Feb 21, 2022, 8:13:12 AM (2 years ago)
Author:
Ales Horak
Comment:

--

Legend:

Unmodified
Added
Removed
Modified
  • VyhodnoceniSumarizaceManual

    v18 v19  
    11= Vyhodnocení výstupu GPT-2 abstraktivní sumarizace =
     2
     3[[Image(attachment:sum_anot.png,width=50%,right)]]
     4
    25== Anotační manuál ==
    36
     
    1720(toto chování bohužel nelze nijak vynutit, proto si prosím dejte pozor, jinak nebude odpověď platná)
    1821
    19 
    20 === Obecné rady ===
    21 
    22 *
    2322
    2423=== Vysvětlení hodnot anotace ===
     
    8685
    8786
    88 Praktické příklady (angl.) lze dohledat v [https://aclanthology.org/2020.eval4nlp-1.1.pdf článku].
    89 
    90 
    91 ------------
    92 = Pro inspiraci: Manipulativní techniky propagandy v době internetu =
    93 == Anotační manuál ==
    94 
    95 [[Image(https://nlp.fi.muni.cz/trac/propaganda/raw-attachment/wiki/ZpravaFI2017/propaganda_scr.png,width=50%,right)]]
    96 
    97 Cílem je vyznačit v textech článků ze zpravodajských webových portálů přítomnost stanovených manipulativních technik. U každého článku je potřeba přiřadit hodnotu několika atributům, které jsou v pravé části obrazovky (doporučujeme pracovat na velkém monitoru).
    98 
    99 Atributy dělíme na 2 typy: ''atributy s rozsahem'' a ''dokumentové atributy''. K atributům s rozsahem je kromě určení jejich hodnoty navíc potřeba vyznačit odpovídající část/části textu. Rozsah se vybírá kliknutím na první a poslední slovo následované kliknutím na název atributu, ke kterému rozsah patří (pro výběr pouze jednoho slova na něj klikněte dvakrát). Nevyplněný rozsah se indikuje červenou ikonkou `<>` u příslušného atributu.
    100 
    101 Při každé akci se zobrazí nahoře v okně hláška o úspěšném uložení údajů.
    102 
    103 {{{#!comment
    104 Anotační editor je dostupný [https://nlp.fi.muni.cz/projekty/propaganda/edit zde]. Před vlastním anotováním se musíte v aplikaci nejprve přihlásit svým loginem na FI.
    105 }}}
    106 
    107 === Technické předpoklady ===
    108 
    109 Aplikace je vyvíjena a testována s webovým prohlížečem **Google Chromium**. V jiných prohlížečích může fungovat také, ale je možné, že některé interaktivní funkce nebudou korektní. Pro jednoduchost prosím použijte Chromium.
    110 
    111 === Obecné rady ===
    112 
    113 * Vyvarujte se nechávání hodnot `===NONE===` ve formuláři.
    114 * V případě potřeby je možné nahlédnout na originální článek, použijte odkaz z názvu článku.
    115 * Zpětnou vazbu (něco nefunguje, něco není jasné) posílejte na adresu: propaganda@aurora.fi.muni.cz
    116 * Po vyplnění všech atributů můžete přejít na další dokument odkazem vpravo nahoře.
    117 * Anotujte sami a nekonzultujte anotace s dalšími studenty.
    118 * Hodnocení anotací bude provedeno podle množství anotovaných článků a pečlivosti anotací včetně rozsahů
    119 
    120 === Vysvětlení atributů s rozsahem ===
    121 
    122 * Místo (EU/ČR/USA/jiná země/nelze určit/Rusko)
    123   * jaká je hlavní lokace, které se článek týká
    124   * v textu vyznačte přímo frázi označující danou lokaci nebo, pokud tam lokace konkrétně není, tak tu část textu, podle které čtenář lokaci odhaduje, např. "'''Německá policie zasáhla''' proti ..." `->` Německo/jiná země
    125   * [https://cz.sputniknews.com/svet/201611014052058-Rusko-Japonsko-priprava-mirova-smlouva/ příklad Rusko]
    126 * Vina (ano/ne/nevím)
    127   * je v textu na někoho svalována vina?
    128   * v textu by mělo být zřetelné co je vina (co se vytýká) a kdo je viník (na koho se svaluje)
    129   * [http://www.svetkolemnas.info/novinky/zahranicni/4011-v-oklahome-mozna-bude-potrat-kvalifikovan-jako-vrazda-1-stupne příklad vina]
    130 * Nálepkování (ano/ne/nevím)
    131   * stereotypy, kolektivní vina
    132   * krátké jednoduché, úderné, výstižné, zapamatovatelné slovní spojení (ne celý odstavec), pejorativní
    133   * nejčastěji přídavná jména
    134   * může být i pozitivní
    135   * [http://www.svetkolemnas.info/novinky/zahranicni/4012-cizi-agenti-jsou-mezi-nami příklad nálepkování]
    136 * Argumentace (ano/ne/nevím)
    137   * pokud se jenom něco konstatuje (že se něco stalo), tak NE
    138   * pokud působí jako argument (logický nebo emotivní), tak ANO
    139   * logika může být zdánlivá a ne nutně úplná - jak to působí na čtenáře
    140   * [http://www.svetkolemnas.info/novinky/zahranicni/4019-obama-vlade-by-melo-byt-dovoleno-dostat-se-kdykoliv-do-jakehokoliv-mobilniho-telefonu příklad argumentace]
    141 * Obsažené emoce (rozhořčení/strach/nenávist/...)
    142   * jakou převažující emoci text ve čtenáři vyvolává?
    143   * emotivně zabarvené výrazy, nezáleží na obsahu, ale na emoci, kterou má text vyvolat
    144   * [http://www.svetkolemnas.info/novinky/zahranicni/4022-rusti-chlapci-v-nemecku-se-s-drzymi-migranty-nemazlili-takhle-necekane-to-dopadlo příklad emoce (rozhořčení)]
    145   * [http://www.svetkolemnas.info/novinky/domaci/4023-pozor-je-vydavatel-britskych-listu-jan-culik-je-udavac-prevleceny-za-novinare příklad emoce (nenávist)]
    146   * [http://www.svetkolemnas.info/novinky/zahranicni/4034-vrcholny-dansky-imam-priznal-agendu-pro-muslimy-cilem-je-dobyt-evropu příklad emoce (strach)]
    147 * Démonizace
    148   * je nepřítel v textu démonizován?
    149   * musí být definovaný nepřítel, většinou velmi negativní
    150   * destrukce, negativní zájmy/cíle
    151   * emotivně velmi vyhrocené nálepkování
    152   * [https://www.parlamentnilisty.cz/arena/rozhovory/-Hejtman-samopal-Martin-Puta-o-Zemanovi-Alespon-nekdo-vidi-ze-i-na-venkove-ziji-lide-Obcas-prestreli-ale-protistrana-se-chova-velmi-podobne-jako-on-424857 příklad démonizace]
    153 * Relativizace
    154   * relativizuje se negativní konání Ruska/pozitivní zásluha Západu?
    155   * většinou použita pro zmírnění něčeho negativního
    156   * [https://www.parlamentnilisty.cz/arena/rozhovory/-Hejtman-samopal-Martin-Puta-o-Zemanovi-Alespon-nekdo-vidi-ze-i-na-venkove-ziji-lide-Obcas-prestreli-ale-protistrana-se-chova-velmi-podobne-jako-on-424857 příklad relativizace]
    157 * Strach
    158   * přesah do budoucna, apel na strach, nejistotu či ohrožení
    159   * např. zavírající se podniky, rušení soc. dávek
    160   * [https://www.parlamentnilisty.cz/arena/rozhovory/-Hejtman-samopal-Martin-Puta-o-Zemanovi-Alespon-nekdo-vidi-ze-i-na-venkove-ziji-lide-Obcas-prestreli-ale-protistrana-se-chova-velmi-podobne-jako-on-424857 příklad strach]
    161 * Fabulace
    162   * zveličování problémů, fámy, nepodložená tvrzení
    163   * [https://www.parlamentnilisty.cz/arena/rozhovory/-Hejtman-samopal-Martin-Puta-o-Zemanovi-Alespon-nekdo-vidi-ze-i-na-venkove-ziji-lide-Obcas-prestreli-ale-protistrana-se-chova-velmi-podobne-jako-on-424857 příklad fabulace]
    164 * Názor
    165   * obsahuje článek jasný osobní názor ''_autora_'' článku?
    166   * může mít i formu komentáře nebo sugestivně položené otázky v rozhovoru
    167   * [https://www.parlamentnilisty.cz/arena/rozhovory/-Hejtman-samopal-Martin-Puta-o-Zemanovi-Alespon-nekdo-vidi-ze-i-na-venkove-ziji-lide-Obcas-prestreli-ale-protistrana-se-chova-velmi-podobne-jako-on-424857 příklad (hejtman Martin Půta)]
    168 * Zdroj
    169   * je text/názor zaštítěn odkazem na jiný zdroj?
    170   * webové stránky, médium, dokumenty; i Facebook
    171   * [https://www.parlamentnilisty.cz/arena/rozhovory/-Kavarna-a-jeji-zahranicni-loutkovodici-nemohou-cekat-do-voleb-Musi-k-sesazeni-Zemana-pouzit-nedemokraticke-metody-odhaduje-vysokoskolsky-pedagog-461641 příklad zdroj (pořad ČT Máte slovo)]
    172 * Rusko
    173   * nemusíte vyplňovat (projeví se u Místo)
    174 * Odborník (ano/ne/nevím)
    175   * je text/názor zaštítěn odborníkem?
    176   * i zdánlivý (expert); musí být označen jménem, nikoli celá instituce
    177   * [https://www.parlamentnilisty.cz/arena/rozhovory/-Kavarna-a-jeji-zahranicni-loutkovodici-nemohou-cekat-do-voleb-Musi-k-sesazeni-Zemana-pouzit-nedemokraticke-metody-odhaduje-vysokoskolsky-pedagog-461641 příklad (pedagog)]
    178 * Politik N
    179   * označte v textu, předvyplní se automaticky
    180   * pokud se politik vyskytuje na více místech textu, je nejdůležitější vyznačení jeho plného jména (když v textu je). je možné označit i další výskyty (např. pouze zmínka o "prezidentovi", když z textu víme o kterém), ale kvůli časové náročnosti to není vyžadováno.
    181   * [https://www.parlamentnilisty.cz/arena/rozhovory/-Hejtman-samopal-Martin-Puta-o-Zemanovi-Alespon-nekdo-vidi-ze-i-na-venkove-ziji-lide-Obcas-prestreli-ale-protistrana-se-chova-velmi-podobne-jako-on-424857 příklad politik (Si Tin-Pching)]
    182 * Vyznění N (neutrální/negativní/pozitivní/velebící/nenávistné)
    183   * pokud jsou argumenty pro i proti => neutrální
    184   * [http://www.parlamentnilisty.cz/arena/monitor/-Donalde-preju-ti-to-vzkazuje-Ivana-Trump-Na-Vanoce-do-USA-leta-i-jeji-mama-ktera-zije-v-CR-Syn-vzpomina-na-dedu-Milose-462118 příklad vyznění (pozitivní)]
    185 
    186 === Atributy dokumentu ===
    187 
    188 * Téma (migrační krize/domácí politika/...)
    189   * vyberte co se nejvíce hodí
    190   * [https://www.parlamentnilisty.cz/arena/rozhovory/-Hejtman-samopal-Martin-Puta-o-Zemanovi-Alespon-nekdo-vidi-ze-i-na-venkove-ziji-lide-Obcas-prestreli-ale-protistrana-se-chova-velmi-podobne-jako-on-424857 příklad téma (migrační krize)]
    191 * Žánr (zpravodajství/rozhovor/komentář)
    192   * zpravodajství: mezi normálními články, článek většinou má autora/redaktora
    193   * rozhovor obvykle obsahuje dialog (střídající se odstavce)
    194   * komentář: má vždy autora, slovo komentář v názvu
    195   * [http://www.parlamentnilisty.cz/arena/rozhovory/-Sedi-prase-na-Hrade-libuje-si-v-urade-Co-chcete-od-spolecnosti-ktera-tomu-tleska-Cechokanadan-Jirovec-ukazuje-v-zasadni-veci-na-Schwarzenberga-463944 příklad rozhovor]
    196 * Zaměření (zahraniční/domácí/nelze určit)
    197   * portály mají většinou zahraniční/domácí v URL
    198   * [https://www.parlamentnilisty.cz/arena/rozhovory/-Hejtman-samopal-Martin-Puta-o-Zemanovi-Alespon-nekdo-vidi-ze-i-na-venkove-ziji-lide-Obcas-prestreli-ale-protistrana-se-chova-velmi-podobne-jako-on-424857 příklad zaměření (zahraničí, viz URL)]
    199 * Celkové vyznění (neutrální/negativní/pozitivní)
    200   * [http://cz.sputniknews.com/svet/201611224173147-karjakin-porazka-carlsen-utkani-svetova-sachova-koruna příklad vyznění (neutrální)]
    201 * Obrázek (ano/ne/nevím)
    202   * je nutné nahlédnout do zdroje
    203   * obsahuje článek MANIPULATIVNÍ obrázek?
    204   * montáž
    205   * ANO pouze pokud má obrázek ovlivnit mínění; normální ilustrativní obrázky ignorujte
    206   * [http://www.svetkolemnas.info/novinky/zahady/4002-astronaut-willams-vyfotil-na-zemske-obezne-draze-neco-co-tam-nepatri příklad obrázek]
    207 * Video (ano/ne/nevím)
    208   * jako obrázek
    209 * Poznámka
    210   * nemusíte vyplňovat
     87Další praktické příklady (angl.) lze dohledat v [https://aclanthology.org/2020.eval4nlp-1.1.pdf článku].