= Simple Question Answering Database (SQAD) = Cílem projektu je vytvoření databáze pro testování a vyhodnocování aplikace odpovídání na otázky (question answering). V současné fázi se zaměřujeme na vytvoření databáze jednodušších otázek, které jsou řešitelné s využitím současných nástrojů pro zpracování přirozeného jazyka. == Problematika odpovídání na otázky (Question Answering, QA) == Otázky se vyskytují v řadě komunikačních situací. Odpověď se skládá ze dvou kroků - identifikace toho, co má být odpověď (jazyková analýza), a hledání odpovědi (využití znalostní báze). Přečtěte si, jak je QA řešeno v systému Watson. Stanislava Sedláčková: Projekt k předmětu PLIN021 Sémantická analýza v praxi, FF MU, 2013. OtazkyWatson == Zadání lingvistického úkolu do IB030 Úvod do počítačové lingvistiky == Cílem je vytvořit část výše zmíněné databáze. Každý student vypracuje 300 otázek, očekáváme průměrně 3 minuty na vytvoření jedné otázky (ze začátku to zřejmě bude více, pak to půjde rychleji, jak si osvojíte pokyny). Následují pokyny k vypracování otázek. - zdrojem otázek a odpovědí bude česká wikipedie (libovolné stránky) - odpověď na otázku musí vyplývat z krátkého souvislého kusu textu (max. 3 po sobě jdoucí věty) z wikipedie - otázky by měly být z různých stránek, povolujeme max. 15 otázek z jedné wiki stránky - formát výstupu bude textový soubor (ne Word!) v kódování UTF-8, jedna otázka zabere 4 řádky: - 1. řádek: otázka - 2. řádek: odpověď - 3. řádek: text, ze kterého odpověď vyplývá (max. 3 věty) - 4. řádek: URL wiki stránky, na které byl text nalezen - následuje prázdný řádek, který odděluje otázky mezi sebou - odpověď na otázku musí být nejkratší možná tak, aby byla zcela správná (většinou 1 jmenná fráze, téměř nikdy celá věta nebo souvětí) - v případě více správných odpovědí je možno uvést všechny na 1 řádku oddělené mřížkou (#) - otázky mohou být i velmi jednoduché - odpověď musí být buď ano/ne, nebo musí být obsažena v textu, z něhož vyplývá - otázek s odpovědí ano/ne musí být max. 30 procent - otázky musí mít jednoznačnou odpověď ("Co je to Amerika?" je špatná otázka) - odpovědi musí být správné v reálném světě (když najdete kus textu, z něhož vyplývá na první pohled nepravdivá odpověď, nesmíte jej použít) '''Pozitivní příklady:''' Takto může vypadat část výsledku vaší práce (nicméně prosíme, nekopírujte níže uvedené otázky): {{{ Ze kterého roku pochází nejprodávanější fotografická publikace z první republiky? 1933 Paradoxně – amatér Karel Čapek byl autorem nejprodávanější fotografické publikace období první republiky. Dášeňka čili Život štěněte z roku 1933 vyšla v několika desítkách vydání. http://cs.wikipedia.org/wiki/Karel_%C4%8Capek Která Dvořákova symfonie doletěla na Měsíc? Symfonie č.9, e-moll # Novosvětská # Z Nového světa Symfonie č.9, e-moll, op. 95, zvaná též „Novosvětská“ či „Z Nového světa“ (From the New World), Antonína Dvořáka je nejen nejvýznamnější autorovo dílo tohoto typu, ale lze ji zařadit nejen k absolutní špičce hudebního romantismu, ale též k nejlepším dílům světové symfonické tvorby všech dob. Neil Armstrong také vzal její nahrávku na Měsíc, když v roce 1969 Apollo 11 poprvé přistálo na Měsíci. http://cs.wikipedia.org/wiki/Symfonie_%C4%8D._9_(Dvo%C5%99%C3%A1k) Je Nový svět vesnice? ano Nový Svět je vesnice, část městyse Dolní Cerekev v okrese Jihlava. http://cs.wikipedia.org/wiki/Nov%C3%BD_Sv%C4%9Bt_(Doln%C3%AD_Cerekev) Z kolika států se skládají USA? 50 Spojené státy se skládají z 50 států, federálního území s hlavním městem a sídlem vlády a Kongresu (District of Columbia), přidružených států s vnitřní samosprávou (Portoriko, Severní Mariany a další) a samosprávných území Spojených států (Guam, Panenské ostrovy, Americká Samoa a další). http://cs.wikipedia.org/wiki/Spojen%C3%A9_st%C3%A1ty_americk%C3%A9 Kde se narodil Karel Čapek? v Malých Svatoňovicích PhDr. Karel Čapek (9. ledna 1890, Malé Svatoňovice – 25. prosince 1938, Praha) byl český spisovatel, intelektuál, novinář, dramatik, překladatel a fotograf. Narodil se v Malých Svatoňovicích v rodině lékaře Antonína Čapka. http://cs.wikipedia.org/wiki/Karel_%C4%8Capek Kdy byla vydána Deklarace nezávislosti? 4. července 1776 4. července 1776 vydal druhý Kontinentální kongres Deklaraci nezávislosti, která vyhlašovala vznik Spojených států amerických. http://cs.wikipedia.org/wiki/Spojen%C3%A9_st%C3%A1ty_americk%C3%A9 Byla Deklarace nezávislosti vydána v 19. století? ne 4. července 1776 vydal druhý Kontinentální kongres Deklaraci nezávislosti, která vyhlašovala vznik Spojených států amerických. http://cs.wikipedia.org/wiki/Spojen%C3%A9_st%C3%A1ty_americk%C3%A9 }}} '''Negativní příklady:''' {{{ Z kolika států se skládají USA? Spojené státy se skládají z 50 států Spojené státy se skládají z 50 států, federálního území s hlavním městem a sídlem vlády a Kongresu (District of Columbia), přidružených států s vnitřní samosprávou (Portoriko, Severní Mariany a další) a samosprávných území Spojených států (Guam, Panenské ostrovy, Americká Samoa a další). http://cs.wikipedia.org/wiki/Spojen%C3%A9_st%C3%A1ty_americk%C3%A9 }}} (Zbytečně dlouhá odpověď, stačilo by "50".) {{{ Co je to Nový Svět? vesnice Nový Svět je vesnice, část městyse Dolní Cerekev v okrese Jihlava. http://cs.wikipedia.org/wiki/Nov%C3%BD_Sv%C4%9Bt_(Doln%C3%AD_Cerekev) }}} (Odpověď není úplná -- pojem "Nový Svět" má více významů a kompletní odpověď není odvoditelná z krátkého kusu textu.) {{{ Kde se narodil Karel Čapek? Svatoňovice PhDr. Karel Čapek (9. ledna 1890, Malé Svatoňovice – 25. prosince 1938, Praha) byl český spisovatel, intelektuál, novinář, dramatik, překladatel a fotograf. Narodil se v Malých Svatoňovicích v rodině lékaře Antonína Čapka. http://cs.wikipedia.org/wiki/Karel_%C4%8Capek }}} (Odpověď není zcela správně. Správně by bylo "Malé Svatoňovice" nebo "v Malých Svatoňovicích".) {{{ Kdy byla vydána Deklarace nezávislosti? 1776 4. července 1776 vydal druhý Kontinentální kongres Deklaraci nezávislosti, která vyhlašovala vznik Spojených států amerických. http://cs.wikipedia.org/wiki/Spojen%C3%A9_st%C3%A1ty_americk%C3%A9 }}} (Odpověď opět není zcela správně. Správně je "4. července 1776".) {{{ Kdy byla vydána Deklarace nezávislosti? 4. 7. 1776 4. července 1776 vydal druhý Kontinentální kongres Deklaraci nezávislosti, která vyhlašovala vznik Spojených států amerických. http://cs.wikipedia.org/wiki/Spojen%C3%A9_st%C3%A1ty_americk%C3%A9 }}} (Odpověď není přesně obsažena ve zdrojovém textu.) {{{ Žil Karel Čapek v Úpici? ano Narodil se v Malých Svatoňovicích v rodině lékaře Antonína Čapka. Matka sbírala slovesný folklor. S rodiči se brzy přestěhoval do Úpice kde byl v místním kostele 13. ledna 1890 pokřtěn. http://cs.wikipedia.org/wiki/Karel_%C4%8Capek }}} (Z přiloženého textu není jasné, že se mluví o Karlu Čapkovi, odpověď tedy nevyplývá z krátkého kusu textu.) {{{ Žil Karel Čapek v Úpici? ano PhDr. Karel Čapek (9. ledna 1890, Malé Svatoňovice – 25. prosince 1938, Praha) byl český spisovatel, intelektuál, novinář, dramatik, překladatel a fotograf. Narodil se v Malých Svatoňovicích v rodině lékaře Antonína Čapka. Matka sbírala slovesný folklor. S rodiči se brzy přestěhoval do Úpice kde byl v místním kostele 13. ledna 1890 pokřtěn. http://cs.wikipedia.org/wiki/Karel_%C4%8Capek }}} (Úsek textu, z něhož vyplývá odpověď na otázku, obsahuje 4 věty, je tedy příliš dlouhý.) {{{ Žil Karel Čapek v Úpici? ano PhDr. Karel Čapek (9. ledna 1890, Malé Svatoňovice – 25. prosince 1938, Praha) byl český spisovatel, intelektuál, novinář, dramatik, překladatel a fotograf. Narodil se v Malých Svatoňovicích v rodině lékaře Antonína Čapka. ... S rodiči se brzy přestěhoval do Úpice kde byl v místním kostele 13. ledna 1890 pokřtěn. http://cs.wikipedia.org/wiki/Karel_%C4%8Capek }}} (Úsek textu, z něhož vyplývá odpověď na otázku, není souvislý.) {{{ Existují roboti, kteří jsou k nerozeznání od lidí? ano Továrník Rossum vyrábí dokonalé roboty, kteří jsou k nerozeznání od lidí. http://cs.wikipedia.org/wiki/Karel_%C4%8Capek }}} (Text nedokládá pravdivost odpovědi v reálném světě, je obsažen v popisu jednoho z Čapkových děl.) {{{ Jakou populaci mají Spojené Státy? rozmanitou USA mají velmi rozmanitou populaci. V zemi je 31 etnických skupin s počtem obyvatel větším než 1 milion. http://cs.wikipedia.org/wiki/Spojen%C3%A9_st%C3%A1ty_americk%C3%A9 }}} (Otázka je příliš nespecifická, nemá jednoznačnou odpověď -- další správné odpovědi by mohly být "velkou", "rostoucí", "měnící se" apod.) {{{ Pomohla 2. světová válka Spojeným Státům? ano Za 2. světové války, která přímo nezasáhla území kontinentálních USA, se průmyslová výroba zdvojnásobila a USA se staly v protiváze k SSSR rozhodující vojenskou velmocí. Roli vedoucí světové mocnosti zvýraznil pád komunistických režimů ve východní Evropě po roce 1989 a následný rozpad SSSR. http://cs.wikipedia.org/wiki/Spojen%C3%A9_st%C3%A1ty_americk%C3%A9 }}} (odpověď nevyplývá z textu přímo -- v textu se mluví pouze o průmyslové výrobě a o roli velmoci, nikoli však již např. o kvalitě života apod.) {{{ Byl Karel Čapek sportovec? ne PhDr. Karel Čapek (9. ledna 1890, Malé Svatoňovice – 25. prosince 1938, Praha) byl český spisovatel, intelektuál, novinář, dramatik, překladatel a fotograf. http://cs.wikipedia.org/wiki/Karel_%C4%8Capek }}} (Uvedený text neříká, že Čapek nebyl sportovcem, pouze vyjmenovává jeho nejvýraznější oblasti zájmu.) == Vyhodnocení úkolu == Za splnění úkolu můžete získat 0-20 bodů. Z vámi připravených otázek bude náhodně vybráno několik desítek otázek, u nichž zkontrolujeme, zda splňují kritéria popsaná výše. Za každou otázku splňující kritéria dostanete 1 bod, celkové body budou přepočítány do max.20 podle počtu kontrolovaných otázek. Porušení globálních instrukcí (např. špatný formát souboru, systematické neuvádění odkazů do wikipedie, více než 30 % otázek s odpovědí ano/ne) bude sankcionováno deseti zápornými body. V případě nejasností a otázek se neváhejte obracet e-mailem na skupinovou adresu `ib030ling@aurora.fi.muni.cz`, která zahrnuje následující lidi: - Aleš Horák - Zuzana Nevěřilová - Vojtěch Kovář Pamatujte, že nejhloupější otázka je ta, která zůstala nepoložena. Na uvedenou adresu rovněž zašlete výsledek vaší práce.