Podrobné pokyny k volbě tématu programátorského úkolu do IB030

Součástí úkolu je i vlastní volba tématu, ne jen programování.
Volba tématu znamená:
1. vyberte si jednu nebo více z doporučených knihoven níže
2. podívejte se do dokumentace vybrané knihovny, udělejte si představu jaké úkoly zpracování přirozeného jazyka knihovna řeší (úkoly=např. klasifikace, detekce, extrakce, analýza, generování, dialog, sumarizace, ...). Možných úkolů jsou desítky.
3. vyberte si úkol, který Vás zaujme a jehož úprava pro češtinu (s využitím dat a nástrojů NLP Centra FI MU) bude mít odpovídající složitost (tj. ani triviální, ani příliš složitý). Je možné řešit úkoly i pro slovenštinu, ale pro tento jazyk je k dispozici méně nástrojů.
Připravte si, co budete k řešení tématu potřebovat - dostanete přístup k linuxovému serveru NLP laboratoře FI MU, kde budete zvolený úkol řešit. Na serveru můžete získat přístup ke zdrojům jako český morfologický analyzátor, označkovaný český korpus, ... viz Rady a tipy níže.
Zvolené téma přidejte (Témata: založit) v rozpisu témat - přednášející téma schválí nebo doplní. V kolonce Předběžné zadání stručně popište s jakými daty a knihovnami budete pracovat, na čem bude Váš nástroj založený a jak budete výsledný kód vyhodnocovat. Dozvíte se, jestli je téma odpovídající a na co se máte soustředit.
K odevzdání je zapotřebí:
- naprogramovat odsouhlasený vybraný algoritmus na češtině
- doplnit dokumentaci programu s
  - popisem algoritmu a implementace
  - ukázkami z běhu
  - návodem na instalaci/spuštění:
    - buď na serveru aurora.fi.muni.cz (práce v terminálu)
    - nebo na colab.research.google.com (práce v Jupyter notebooku)
  - vyhodnocením úspěšnosti algoritmu na netriviálních českých datech
- vše uložit v komprimovaném archivu do odevzdávárny tématu do termínu na webu předmětu. V případě práce v Colabu vložte stažený soubor s příponou .ipynb, který může obsahovat v jednom kód i dokumentaci.
Hodnocení bude od 0 do 20 bodů podle:
- složitosti vybraného algoritmus
- kvality zpracování algoritmu i dokumentace

Doporučené knihovny

NLTK - Natural Language Toolkit www.nltk.org
FreeLing nlp.lsi.upc.edu/freeling/
Stanford University Natural Language Software nlp.stanford.edu/software/
Spacy spacy.io/
Grammatical Framework www.grammaticalframework.org,
Language Tool grammar checker languagetool.org,
AIML www.aiml.foundation,
ChatScript github.com/ChatScript/ChatScript,
ParlAI github.com/facebookresearch/ParlAI,
Rasa Open Source rasa.community/,
Pepper nlp.fi.muni.cz/projects/pepper

Příklady úkolů pro inspiraci

U všech témat je důležité si rozmyslet na jaké konkrétní datové sadě proběhne vyhodnocení úspěšnosti vlastního řešení.

FAQbot - Chatbot slúžiaci ako podpora a FAQ ohľadne štúdia na MUNI a informačného systému MUNI
Rozpoznání textově zapsaných čísel
Český chatbot na téma počasí
Analýza časových údajů v textu
Implementace a vyhodnocení technik pro hledání českých víceslovných výrazů (multi-word expressions, MWE)
Dialog s robotem o aktuálních výsledcích anglické Premier League
Comparing techniques for Czech sentiment analysis
Implementace české lematizace funkcí nltk.stem.wordnet
Slovní hra s robotem Pepper
Automatická úprava slovosledu české věty
Dialog s robotem Pepper o aktuálním rozvrhu na FI
Sémantický klasifikátor sentimentu v poezii
Comparison of current named entity recognition engines for Czech
Predicting movie review results from text
Evaluating fastText with different tasks
Lematizácia slovenských slov pomocou neurónových sietí a strojového učenia
Generování básní na základě prvního verše nebo pomocník k tvorbě básní
Chatbot, který zákazníka provede eshopem (části: nalezení produktu, porovnání produktů, shrnutí recenzí)
Textová adventure hra s volnou konverzací ze strany uživatele
Doplňování/rozšiřování vět a jejich částí v průběhu psaní podle předchozího textu
Česká gramatika do Grammatical Framework pro "malé" překlady
Klasifikace otázek podle typu a určování toho, na co se ptáme
Rozpoznání jazyka textu v různých typech textu (konverzace, zpráva, blog, ...)
Slovní úlohy (např. trojčlenka, fyzikální úlohy, ...)
Tvorba/detekce parafrází

Rady a tipy

Vyvíjet projekt můžete ve svém oblíbeném vývojovém prostředí, ale jestli takové nemáte, tak doporučujeme si vyzkoušet a využít jednu ze dvou variant:
- pokud budete pracovat jen s otevřenými a volně dostupnými daty, můžete celý projekt včetně dokumentace vypracovat v prostředí Google Colab
- nebo pokud umíte nebo se chcete naučit pracovat v terminálu, případně chcete využít nástroje/data dostupná pouze v NLP labu, můžete pracovat na některém serveru laboratoře NLP.
V případě práce v terminálu doporučujeme podávat se na naši shrnující stránku How to Code in a Terminal.
Morfologický analyzátor majka můžete instalovat a spustit lokálně (s menším slovníkem), nebo spouštět na strojích NLP labu.
Parametry zjistíte pomocí přepínače -h:
```
    /nlp/projekty/ajka/bin/majka -h
```
Například pro generování všech tvarů slova můžete použít
```
    /nlp/projekty/ajka/bin/majka -f /nlp/projekty/ajka/lib/majka.l-wt
```
Morfologický analyzátor majka má k dispozici Python wrapper: https://github.com/petrpulc/python-majka
Při využití balíčku chatterbot, můžete použít tento tutoriál:
https://hackernoon.com/using-flask-to-build-a-rule-based-chatbot-in-python.
Korpus konverzací nepoužívejte, místo něj využijte ListTrainer
https://github.com/gunthercox/ChatterBot/blob/master/docs/tutorial.rst
```
    trainer = ListTrainer(chatbot)
    trainer.train([
      'How are you?',
      'I am good.',
      'That is good to hear.',
      'Thank you',
      'You are welcome.',
    ])
```
Kdyby se nedařilo instalovat současnou verzi, verze 1.0.4 by měla fungovat dobře.
Pro datové zdroje nebo programy k porovnání můžete využít repozitář LINDAT/CLARIAH (https://lindat.cz/cs).
Různé problémy, na které můžete narazit při zpracovávání češtiny, řeší API na Language Services.
https://nlp.fi.muni.cz/projekty/languageservices/
Klidně API použijte nebo kontaktujte vyučující, abyste se dostali rovnou ke skriptům.
Při programování pro Peppera vám pomůžou stránky
https://nlp.fi.muni.cz/projekty/pepper/

Zpět na stránku předmětu.