Changes between Version 6 and Version 7 of ZpravaFI2018

Timestamp:

Mar 8, 2019, 2:33:43 PM (6 years ago)

Author:

hales

Comment:

--

ZpravaFI2018

@@ -9 +9 @@
 == Zpráva za rok 2018 ==
 
-V roce 2018 jsme do vyvíjeného nástroje pro expertní anotaci článků na výskyt propagandy doplnili automatické návrhy detekce manipulativních technik v textu. Na základě anotací 7494 dokumentů jsme vytvořili 2 modely: jeden pro predikci hodnot jednotlivých atributů v novém neanotovaném dokumentu a jeden pro odhad částí textů, které souvisí s vybraným atributem. Uživatelská aplikace potom umožňuje přímé porovnání automatických návrhů s ruční kontrolou anotátory. Automatické návrhy implicitně nejsou zobrazené, ale anotátor si je může nechat zobrazit až po dokončení vlastních anotací.
+V roce 2018 jsme do vyvíjeného nástroje pro expertní anotaci článků na výskyt propagandy doplnili automatické návrhy detekce manipulativních technik v textu. Na základě anotací 7494 dokumentů jsme vytvořili 2 modely: jeden pro predikci hodnot jednotlivých atributů v novém neanotovaném dokumentu a jeden pro odhad částí textů, které souvisí s vybraným atributem. Uživatelská aplikace potom umožňuje přímé porovnání automatických návrhů s ruční kontrolou anotátory. Automatické návrhy implicitně nejsou zobrazené, ale anotátor si je může nechat zobrazit po dokončení vlastních anotací.
 
 Aktuální model založený na metodě Random Forest jsme vyhodnotili jako nejlepší z testování 11 technik strojového učení na vytvořené datové sadě. Výsledná klasifikace navrhování hodnot atributů přiřazuje pro každý atribut s omezeným množstvím hodnot (např. ano/ne/nevím) každé této hodnotě pravděpodobnost. Důležitou vlastností vybrané metody je schopnost nabídnout "vysvětlení" navrhované hodnoty poukázáním na úroveň důležitosti vybraných slov v textu (individuálně pro každý atribut). Současná prototypová implementace detekčního nástroje dosahuje vážené F1 míry úspěšnosti v rozsahu 65-85% pro jednotlivé atributy - např. ''démonizace'' je snadněji rozpoznatelná s 85%, ale ''argumentace'' pouze s 65%.
@@ -17 +17 @@
 == Plán na rok 2019 ==
 
-Dále se zaměříme na vylepšování rozšiřování sady rysů pro trénování modelů automatických návrhů anotací. Očekáváme vylepšení úspěšnosti detekce v průměru až o 10%. Výsledek plánujeme publikovat jako článek v odborném časopise. Kromě vyhodnocování na datech z českých propagandistických webů budeme pro srovnání automaticky získávat data i z vybraných  mainstreamových médií. Vyvíjíme nástroj pro automatizaci pravidelného 
-
-ahování bude probíhat pravidelně a bude plně automatizované; bude na něj navázané následné zpracování dat (čištění, jazyková analýza) a několik datových analýz s využitím nástrojů NLP centra.
+V posledním roce se zaměříme na rozšiřování sady rysů pro trénování modelů automatických návrhů anotací. Očekáváme potenciál zvýšení úspěšnosti detekce v průměru až o 10%. Výsledek plánujeme publikovat jako článek v odborném časopise. Kromě vyhodnocování na datech z českých propagandistických webů plánujeme pro srovnání automaticky získávat časová a textová data i z vybraných  mainstreamových médií.