Version 1 (modified by 2 years ago) (diff) | ,
---|
Vyhodnocení výstupu GPT-2 abstraktivní sumarizace
Anotační manuál
Cílem je ...
Technické předpoklady
Anotace se provádí ...
Abstraktu je přiřazen seznam o třech prvcích (3 věty v každém abstraktu)
Větám je přiřazena dvojice (A, (B, C))
kde:
A
= typ chyby vMapping
{1
, ...,5
}B
= kategorie chyby vMalformed
{1
,2
}C
= typ chyby vMalformed
{a
,b
,c
}
- použití
None
místo seznamu v případě, že je v sumarizaci méně než tři věty (zřídka) - k nové přidanému
Repetitive
vyjádření pak přiřadit:(5, None)
- žádná další chyba by tam totiž z definice neměla být - kromě
(5, None)
vždy přiřadit jakMapping
, takMisleading
- pokud je věta celá v pořádku, označujeme ji
"OK"
Obecné rady
Vysvětlení hodnot anotace
Mapping
:
- pomáhá odhalit PŘÍČINU chyby
- povrchová hladina
- jak sumarizátor používá slova a věty k vytvoření chyby v abstraktu
- hodnoty:
Omission
: zkopírování věty/fráze, ale vynechání slova/frázeWrong combination
: kopírování části z více různých vět a jejich chybová kombinaceFabrication
: přidání jednoho nebo více nových slov, které způsobí chybuLack of rewriting
: chybné přepsání vět (např. nedostatečný kontext, chybné nahrazení referenčních výrazu nepůvodním objektem)Repetitive
(přidáno): Repetitivní vyjádření, jinak všechno ok
Meaning
:
- EFEKT chyby (
Malformed
má přednost předMisleading
, je méně častá) - kategorie a typy:
Malformed
: čtenář se zaráží nad kvalitou, ale věta není zavádějící/lživáUngrammatical
: syntakticky poškozena/nepřirozená věta, mluvčí by ji takto neřeklSemantically implausible
: sémantický nesmyslná/nepřirozená větaNo meaning can be inferred
:- gramaticky správná věta, které není možné přiřadit význam
- většinou spojené s
Lack of rewriting
- chybí kontext a tím věta ztrácí význam
Misleading
: můžou navodit nesprávné přesvědčení, nevyvoditelné z článkuMeaning changed, not entailed
: význam věty nelze vyvodit z článku (v kontextu sumarizace)Meaning changed, contradiction
: význam věty má opačný nebo JINÝ význam než vyvozujeme z článku (v kontextu sumarizace)Pragmatic meaning changed
: věta nabývá PRAGMATICKÉHO významu, který v článku není, nebo se PRAGMATICKÝ význam vytrácí (v kontextu sumarizace)
např. byla použita obrazná věta a její význam se v sumarizaci změnil nebo vytratil (zní, že je myšlen doslovně)
Praktické příklady (angl.) lze dohledat v článku.
Pro inspiraci: Manipulativní techniky propagandy v době internetu
Anotační manuál
Cílem je vyznačit v textech článků ze zpravodajských webových portálů přítomnost stanovených manipulativních technik. U každého článku je potřeba přiřadit hodnotu několika atributům, které jsou v pravé části obrazovky (doporučujeme pracovat na velkém monitoru).
Atributy dělíme na 2 typy: atributy s rozsahem a dokumentové atributy. K atributům s rozsahem je kromě určení jejich hodnoty navíc potřeba vyznačit odpovídající část/části textu. Rozsah se vybírá kliknutím na první a poslední slovo následované kliknutím na název atributu, ke kterému rozsah patří (pro výběr pouze jednoho slova na něj klikněte dvakrát). Nevyplněný rozsah se indikuje červenou ikonkou <>
u příslušného atributu.
Při každé akci se zobrazí nahoře v okně hláška o úspěšném uložení údajů.
Technické předpoklady
Aplikace je vyvíjena a testována s webovým prohlížečem Google Chromium. V jiných prohlížečích může fungovat také, ale je možné, že některé interaktivní funkce nebudou korektní. Pro jednoduchost prosím použijte Chromium.
Obecné rady
- Vyvarujte se nechávání hodnot
===NONE===
ve formuláři. - V případě potřeby je možné nahlédnout na originální článek, použijte odkaz z názvu článku.
- Zpětnou vazbu (něco nefunguje, něco není jasné) posílejte na adresu: propaganda@aurora.fi.muni.cz
- Po vyplnění všech atributů můžete přejít na další dokument odkazem vpravo nahoře.
- Anotujte sami a nekonzultujte anotace s dalšími studenty.
- Hodnocení anotací bude provedeno podle množství anotovaných článků a pečlivosti anotací včetně rozsahů
Vysvětlení atributů s rozsahem
- Místo (EU/ČR/USA/jiná země/nelze určit/Rusko)
- jaká je hlavní lokace, které se článek týká
- v textu vyznačte přímo frázi označující danou lokaci nebo, pokud tam lokace konkrétně není, tak tu část textu, podle které čtenář lokaci odhaduje, např. "Německá policie zasáhla proti ..."
->
Německo/jiná země - příklad Rusko
- Vina (ano/ne/nevím)
- je v textu na někoho svalována vina?
- v textu by mělo být zřetelné co je vina (co se vytýká) a kdo je viník (na koho se svaluje)
- příklad vina
- Nálepkování (ano/ne/nevím)
- stereotypy, kolektivní vina
- krátké jednoduché, úderné, výstižné, zapamatovatelné slovní spojení (ne celý odstavec), pejorativní
- nejčastěji přídavná jména
- může být i pozitivní
- příklad nálepkování
- Argumentace (ano/ne/nevím)
- pokud se jenom něco konstatuje (že se něco stalo), tak NE
- pokud působí jako argument (logický nebo emotivní), tak ANO
- logika může být zdánlivá a ne nutně úplná - jak to působí na čtenáře
- příklad argumentace
- Obsažené emoce (rozhořčení/strach/nenávist/...)
- jakou převažující emoci text ve čtenáři vyvolává?
- emotivně zabarvené výrazy, nezáleží na obsahu, ale na emoci, kterou má text vyvolat
- příklad emoce (rozhořčení)
- příklad emoce (nenávist)
- příklad emoce (strach)
- Démonizace
- je nepřítel v textu démonizován?
- musí být definovaný nepřítel, většinou velmi negativní
- destrukce, negativní zájmy/cíle
- emotivně velmi vyhrocené nálepkování
- příklad démonizace
- Relativizace
- relativizuje se negativní konání Ruska/pozitivní zásluha Západu?
- většinou použita pro zmírnění něčeho negativního
- příklad relativizace
- Strach
- přesah do budoucna, apel na strach, nejistotu či ohrožení
- např. zavírající se podniky, rušení soc. dávek
- příklad strach
- Fabulace
- zveličování problémů, fámy, nepodložená tvrzení
- příklad fabulace
- Názor
- obsahuje článek jasný osobní názor _autora_ článku?
- může mít i formu komentáře nebo sugestivně položené otázky v rozhovoru
- příklad (hejtman Martin Půta)
- Zdroj
- je text/názor zaštítěn odkazem na jiný zdroj?
- webové stránky, médium, dokumenty; i Facebook
- příklad zdroj (pořad ČT Máte slovo)
- Rusko
- nemusíte vyplňovat (projeví se u Místo)
- Odborník (ano/ne/nevím)
- je text/názor zaštítěn odborníkem?
- i zdánlivý (expert); musí být označen jménem, nikoli celá instituce
- příklad (pedagog)
- Politik N
- označte v textu, předvyplní se automaticky
- pokud se politik vyskytuje na více místech textu, je nejdůležitější vyznačení jeho plného jména (když v textu je). je možné označit i další výskyty (např. pouze zmínka o "prezidentovi", když z textu víme o kterém), ale kvůli časové náročnosti to není vyžadováno.
- příklad politik (Si Tin-Pching)
- Vyznění N (neutrální/negativní/pozitivní/velebící/nenávistné)
- pokud jsou argumenty pro i proti => neutrální
- příklad vyznění (pozitivní)
Atributy dokumentu
- Téma (migrační krize/domácí politika/...)
- vyberte co se nejvíce hodí
- příklad téma (migrační krize)
- Žánr (zpravodajství/rozhovor/komentář)
- zpravodajství: mezi normálními články, článek většinou má autora/redaktora
- rozhovor obvykle obsahuje dialog (střídající se odstavce)
- komentář: má vždy autora, slovo komentář v názvu
- příklad rozhovor
- Zaměření (zahraniční/domácí/nelze určit)
- portály mají většinou zahraniční/domácí v URL
- příklad zaměření (zahraničí, viz URL)
- Celkové vyznění (neutrální/negativní/pozitivní)
- Obrázek (ano/ne/nevím)
- je nutné nahlédnout do zdroje
- obsahuje článek MANIPULATIVNÍ obrázek?
- montáž
- ANO pouze pokud má obrázek ovlivnit mínění; normální ilustrativní obrázky ignorujte
- příklad obrázek
- Video (ano/ne/nevím)
- jako obrázek
- Poznámka
- nemusíte vyplňovat
Attachments (2)
- button.png (559 bytes) - added by 2 years ago.
-
sum_anot2.png (174.8 KB) - added by 2 years ago.
Příklad otázky v dotazníku
Download all attachments as: .zip