Projekt GAMU Manipulativní techniky propagandy v době internetu

MUNI/G/0872/2016

Zpráva za tým FI, 2018

Zpráva za rok 2018

V roce 2018 jsme do editoru doplnili automatické návrhy detekce manipulativních technik v textu. Na základě manuálních anotací 7494 dokumentů jsme vytvořili 2 modely: jeden pro predikci hodnot jednotlivých atributů v novém neanotovaném dokumentu a jeden pro odhad částí textů, které souvisí s vybraným atributem. Uživatelská aplikace potom umožňuje přímé porovnání automatických návrhů s ruční kontrolou anotátory. Automatické návrhy implicitně nejsou zobrazené, ale anotátor si je může nechat zobrazit až po dokončení vlastních anotací.

Aktuální model založený na metodě Random Forest jsme vyhodnotili jako nejlepší z testování 11 technik strojového učení na vytvořené datové sadě. Výsledná klasifikace navrhování hodnot atributů přiřazuje pro každý atribut s omezeným množstvím hodnot (např. ano/ne/nevím) každé této hodnotě pravděpodobnost. Důležitou vlastností vybrané metody je schopnost nabídnout "vysvětlení" navrhované hodnoty poukázáním na úroveň důležitosti vybraných slov v textu (individuálně pro každý atribut). Současná prototypová implementace detekčního nástroje dosahuje vážené F1 míry úspěšnosti v rozsahu 65-85% pro jednotlivé atributy - např. démonizace je snadněji rozpoznatelná s 85%, ale argumentace pouze s 65%.

V roce 2018 proběhly další anotace dat. Tyto anotace byly přidány do databáze článků, ve které je aktuálně [DOPLNIT] plně anotovaných článků. Z toho [DOPLNIT] je anotováno více anotátory, takže lze zkoumat mezianotátorskou shodu.

Plán na rok 2019

Dále se zaměříme na vylepšování trénování modelů pro automatické návrhy anotací. V rámci své magisterské práce se student pokusí stáhnout co nejčistší data z českých propagandistických webů (pro srovnání budou zahrnuty i mainstreamová média) i s metadaty. Toto stahování bude probíhat pravidelně a bude plně automatizované; bude na něj navázané následné zpracování dat (čištění, jazyková analýza) a několik datových analýz s využitím nástrojů NLP centra.