Changes between Version 4 and Version 5 of ZpravaFI2019

Timestamp:

Mar 22, 2020, 10:02:27 AM (5 years ago)

Author:

hales

Comment:

--

ZpravaFI2019

@@ -21 +21 @@
 Anotacemi manipulativních technik v textech vznikla finální datová sada (anotovaný korpus) s označením ''Propaganda'', která se s 8464 dokumenty řadí mezi největší datové sady s tímto zaměřením na světě. Korpus Propaganda bude zveřejněn a umožní tak replikaci a průběžné další vylepšování výsledků detekce analyzovaných technik. Prefinální verze byla prezentována na konferenci RANLP 2019 ([https://www.muni.cz/vyzkum/publikace/1552518 Scopus publikace]), kde několik zahraničních týmů projevilo zájem o přístup k datové sadě.
 
-Detekci sedmnácti technik manipulace a propagandy jsme rozšířili o poslední metody neuronových jazykových modelů založených na hlubokém učení (deep learning, metody BERT a BiRNN). Vážená F1 míry úspěšnosti je nyní v průměru 85% (10% zlepšení proti roku 2018) v rozsahu 71-95% pro jednotlivé atributy (démonizace je snadněji rozpoznatelná s 95%, argumentace pouze 71%). Na datech jsme také vyhodnotili úspěšnost "lidské" shody mezi anotátory, u většiny atributů ji testované metody přesahují. Finální výsledky budou shrnuty v časopiseckém článku dokončovaném v první polovině roku 2020.
+Detekci sedmnácti technik manipulace a propagandy jsme rozšířili o poslední metody neuronových jazykových modelů založených na hlubokém učení (deep learning, metody BERT a BiRNN). Vážená F1 míra úspěšnosti nyní dosahuje v průměru 85% (10% zlepšení proti roku 2018) v rozsahu 71-95% pro jednotlivé atributy (démonizace je snadněji rozpoznatelná s 95%, argumentace pouze 71%). Na datech jsme také vyhodnotili úspěšnost "lidské" shody mezi anotátory, u většiny atributů ji testované metody přesahují. Finální výsledky budou shrnuty v časopiseckém článku dokončovaném v první polovině roku 2020.