wiki:cs/PopisPreVertikalu

Popis prevertikálů

Finální textová podoba korpusu je tzv. vertikální tvar, který obsahuje text rozdělený do pozic (tokenů). Toto rozdělení je závislé na jazyku a musí být optimalizovánu pro použití konkrétních taggerů (které ke každému slovu v textu přidávají další informace jako slovní druh či základní tvar). Proto rozdělení do pozic necháváme na standardních programech, resp. skupinách programů (pipelines). Vstupem těchto programů je prevertikální text.

Prevertikální text je běžný textový soubor (plain text) s následujícími vlastnostmi:

  • kódování UTF-8
  • text každého odstavce je na jednom řádku
  • případné strukturní elementy jsou zaznamenány pomocí XML značek (<p>, <head>, <doc>, ...)
  • každá XML značka je na samostatném řádku
  • metainformace k dokumentům (autor, datum vydání, ...) jsou zaznamenány jako atributy značky <doc> a celá počáteční značka včetně všech atributů je na jednom řádku (není rozdělena na více řádků)

Příklad prevertikálu

<doc genre="fiction" title="1984" author="G. Orwell">
<chapter no="1.1">
<p>
It was a bright cold day in April, and the clocks were striking thirteen. Winston Smith, his chin nuzzled into his breast in an effort to escape the vile wind, slipped quickly through the glass doors of Victory Mansions, though not quickly enough to prevent a swirl of gritty dust from entering along with him.
</p>
<p>
The hallway smelt of boiled cabbage and old rag mats. At one end of it a coloured poster, too large for indoor display, had been tacked to the wall. It depicted simply an enormous face, more than a metre wide: the face of a man of about forty-five, with a heavy black moustache and ruggedly handsome features. Winston made for the stairs. It was no use trying the lift. Even at the best of times it was seldom working, and at present the electric current was cut off during daylight hours. It was part of the economy drive in preparation for Hate Week. The flat was seven flights up, and Winston, who was thirty-nine and had a varicose ulcer above his right ankle, went slowly, resting several times on the way. On each landing, opposite the lift-shaft, the poster with the enormous face gazed from the wall. It was one of those pictures which are so contrived that the eyes follow you about when you move. BIG BROTHER IS WATCHING YOU, the caption beneath it ran.
</p>
</chapter>
</doc>

Převod do vertikálu

Pro převod z prevertikálu do vertikálu používáme pipelines, např.:

  • čeština: /opt/majka_pipe/majka-czech_v2.sh
  • angličtina: /opt/treetagger_pipe/tt-english_v3.1.sh

Všechny skripty tohoto typu čtou text ze standardního vstupu a výsledek zapisují na standardní výstup.

Aktuální verzi skriptu je možné získat pomocí příkazu ca_getpipeline JAZYK.

Zpracování je výhodné dělat pomocí Makefile, např. použitím násl. pravidla:

PIPELINE=/opt/treetagger_pipe/tt-english_v3.1.sh

%.vert: %.prevert
     cat $< | $(PIPELINE) >$@

Výsledkem je potom např.:

<doc genre="fiction" title="1984" author="G. Orwell">
<chapter no="1.1">
<p>
<s>
It       PP   it-d
was      VBD  be-v
a        DT   a-x
bright   JJ   bright-j
cold     JJ   cold-j
day      NN   day-n
in       IN   in-i
April    NP   April-n
<g/>
,        ,    ,-x
and      CC   and-c
the      DT   the-x
clocks   NNS  clock-n
were     VBD  be-v
striking JJ   striking-j
thirteen CD   thirteen-m
<g/>
.       SENT    .-x
</s>
...
Last modified 8 months ago Last modified on Apr 15, 2021, 1:58:45 PM