Changes between Version 3 and Version 4 of ZpravaFI2019

Timestamp:

Mar 22, 2020, 10:01:43 AM (5 years ago)

Author:

hales

Comment:

--

ZpravaFI2019

@@ -19 +19 @@
 Všechny nástroje jsou dostupné z webové stránky projektu https://nlp.fi.muni.cz/projekty/propaganda.
 
-Anotacemi manipulativních technik v textech vznikla finální datová sada (anotovaný korpus) nazvaný Propaganda, který se s 8464 dokumenty řadí mezi největší datové sady s tímto zaměřením na světě. Korpus Propaganda bude zveřejněn a umožní tak replikaci a průběžné další vylepšování výsledků detekce analyzovaných technik. Prefinální verze byla prezentována na konferenci RANLP 2019 ([https://www.muni.cz/vyzkum/publikace/1552518 Scopus publikace]), kde několik zahraničních týmů projevilo zájem o přístup k datové sadě.
+Anotacemi manipulativních technik v textech vznikla finální datová sada (anotovaný korpus) s označením ''Propaganda'', která se s 8464 dokumenty řadí mezi největší datové sady s tímto zaměřením na světě. Korpus Propaganda bude zveřejněn a umožní tak replikaci a průběžné další vylepšování výsledků detekce analyzovaných technik. Prefinální verze byla prezentována na konferenci RANLP 2019 ([https://www.muni.cz/vyzkum/publikace/1552518 Scopus publikace]), kde několik zahraničních týmů projevilo zájem o přístup k datové sadě.
 
-Detekci sedmnácti technik manipulace a propagandy jsme rozšířili o poslední metody neuronových jazykových modelů založených na hlubokém učení (deep learning, metody BERT a BiRNN). Vážená F1 míry úspěšnosti je nyní v průměru 85% (10% zlepšení proti roku 2018) v rozsahu 71-95% pro jednotlivé atributy (démonizace je snadněji rozpoznatelná s 95%, argumentace pouze 71%). U většiny atributů testované metody přesahují úspěšnost "lidské" shody mezi anotátory. Finální výsledky budou shrnuty v časopiseckém článku dokončovaném v první polovině roku 2020.
+Detekci sedmnácti technik manipulace a propagandy jsme rozšířili o poslední metody neuronových jazykových modelů založených na hlubokém učení (deep learning, metody BERT a BiRNN). Vážená F1 míry úspěšnosti je nyní v průměru 85% (10% zlepšení proti roku 2018) v rozsahu 71-95% pro jednotlivé atributy (démonizace je snadněji rozpoznatelná s 95%, argumentace pouze 71%). Na datech jsme také vyhodnotili úspěšnost "lidské" shody mezi anotátory, u většiny atributů ji testované metody přesahují. Finální výsledky budou shrnuty v časopiseckém článku dokončovaném v první polovině roku 2020.