Pagtuturo sa isang makina ng 149,000 salita, sa 22 wika

Isang salita, at ang lahat ng hugis na tinatanggap nito

Ang WordChess ay nilalaro sa isang 25×25 na board gamit ang isang diksyunaryong Ingles na may 148,941 na salita ⁶, na ang mga entry ay may karaniwang 8.6 na letra, at ang pinakahaba ay umaabot sa 27. Iyan ang madaling bahagi. Ang listahan ng mga legal na salita ay isang set ng mga string na tatanggapin ng laro, walang iba. Ang kawili-wiling bahagi ay ang pagsasabi sa manlalaro kung ano ang kahulugan ng string sa board, at ang paggawa nito sa dalawampu't dalawang wika nang sabay-sabay.

Gumuguhit ang mga leksikograpo ng matalas na hangganan sa pagitan ng lemma at ng mga anyong may impleksyon nito. Ang lemma ay ang salitang-ulo na iyong hinahanap, gaya ng run (tumakbo), house (bahay), be (maging). Sa paligid nito ay umiikot ang isang paradigma ng mga anyong pang-ibabaw: runs, ran, running. Ang bawat isa ay nagtataglay ng parehong pangunahing kahulugan, nakadamit para sa ibang gramatikal na tungkulin. ³ Ginugugol ng diksyunaryo ang prosa nito sa lemma at hinahayaan ang mga anino na tumuro pabalik sa tahanan.

Kung gaano karaming anino ang ipinapalabas ng isang salita ay depende sa wika. Ang Ingles ay analitiko: sumasandal ito sa ayos ng mga salita at sa maliliit na pantulong na salita, kaya ang isang pandiwa ay bihirang magkaroon ng higit sa ilang anyo. Ang Finnish ay aglutinatibo: bumubuo ito ng kahulugan sa pamamagitan ng pagdidikit ng mga suffix sa isang stem. Ang isang pangngalang Finnish ay nag-iimpleksyon para sa humigit-kumulang labinlimang kaso, sa isahan at maramihan, bago pa ang mga possessive na dulo at mga clitic ay magpatong sa ibabaw; ang praktikal na bilang ng magkakaibang anyo ay umaabot sa libu-libo. ⁴ Isinisilid ng Hungarian ang isang buong pariralang Ingles, in my house (sa aking bahay), sa isang salita, házamban. ⁵

Kung saan nakatira ang mga depinisyon

Ang mga depinisyon ay nagmumula sa Wiktionary, ang malayang diksyunaryo na maaaring i-edit ng sinuman. Ito ay napakalawak at multilingguwal: ang proyekto ay binubuo ng higit sa isandaang aktibong edisyon ng wika at sampu-sampung milyong entry, isinulat nang sama-sama ng mga boluntaryo sa halip na ng isang may-bayad na lupon ng mga editor. ¹ Para sa isang larong tumatakbo sa 22 wika, walang ibang malayang leksikon na makapantay sa lawak ng saklaw nito.

Ngunit ang saklaw sa papel ay hindi saklaw na mababasa nang malakas. Iniimbak ng Wiktionary ang mga anyong may impleksyon sa paraang inililigtas ang mga taong editor mula sa pagsulat ng parehong glosa sampung libong beses. Sa halip na isulat ang isang depinisyon, ang isang entry na hindi lemma ay may form-of template, isang maliit na pointer na, sa esensya, nagsasabing “ito ay isang partikular na gramatikal na anyo ng lemmang iyon.” ² Ang entry para sa smoulders ay hindi prosa; ito ay isang template na ipinapakita bilang “third-person singular simple present form of smoulder” (anyong ikatlong panauhan, isahan, payak na pangkasalukuyan ng smoulder, “umuusok nang walang apoy”). ¹

Ang mga pointer na ito ay hindi isang maliit na pagkakamali sa pag-round. Sa Ingles na Wiktionary, mula sa humigit-kumulang 1.27 milyong depinisyon, may 478,000, na higit sa sangkatlo, ay mga depinisyong “form of” (anyo ng) sa halip na mga kahulugang isinulat nang buo. ¹ Naroon ang data. Ito ay nakatiklop, walang iba.

Ang glosa ay ang pagbubukas ng template

Kaya ang hamong mahalaga ay hindi kailanman “nawawala ang salita.” Ito ay ang kahulugan ng salita ay nakaupo sa loob ng isang template na itatapon ng isang walang-muwang na parser. Ang mga depinisyon ng WordChess ay itinayo sa pamamagitan ng pagbasa sa mga hilaw na dump ng Wiktionary at pagpapalawak ng mga template ng impleksyon, wika sa wika, na tinuturuan ang parser kung ano ang kahulugan ng bawat pointer at isinusulat itong muli bilang isang payak na glosa. ⁶

Ang bawat wika ay nagtatago ng mga anyo nito sa likod ng naiibang makinarya. Isinisilid ng Espanyol ang mga anyo ng pandiwa sa likod ng {{forma verbo}}, na nalulutas bilang “verbal form of X” (anyo ng pandiwang X). Gumagamit ang Aleman ng {{Grundformverweis Dekl/Konj}} para sa mga anyong dinekline at kinonjuga. Sumasandal ang Finnish sa {{taivutusmuoto}}. Ang Ruso ay kadalasang walang anumang form template: ang salitang may impleksyon ay isang hubad na redirect (собаки → собака) na dapat sundan upang makuha ang glosang “form of”. ⁶ Harapin ang bawat kumbensyon, at ang saklaw ay tumatalon.

Sinukat mula sa mga tala ng disenyo at pagbuo ng proyektong ito. Ang mga porsiyento ay bahagi ng mga entry ng diksyunaryo na may magagamit na depinisyon o nalutas na glosang “form of”.

Isang string, at isang pangungusap tungkol dito

Nararapat na magpakatapat tungkol sa kung ano ang ngayon ay hawak ng laro. Kapag ipinapakita ng WordChess na ang собаки ay anyo ng собака, “aso,” wala itong naunawaan. Ito ay nag-mapa ng isang string sa isa pang string, isang glosa, sa pamamagitan ng pagsunod sa parehong mga pointer na iniwan ng isang taong editor. Ito ay lemmatization, ang kabayong-trabahador ng natural-language processing: ang pagbabawas ng isang anyong pang-ibabaw sa batayan nito upang ang makina ay may mas kaunting magkakaibang bagay na susubaybayan. ⁷

Iyan ay isang tunay at kapaki-pakinabang na uri ng pag-alam. Pinahihintulutan nito ang laro na sagutin ang “ano ang salitang ito?” sa Athens o Amsterdam nang walang leksikograpo sa mga kawani. Ngunit ito ay pag-alam-bilang-paghahanap, hindi pag-alam-bilang-kahulugan. Ang glosa ay isang pangako na makikilala ng taong nagbabasa nito ang salita. Hawak ng makina ang pangako; ang mambabasa ay nagbibigay ng kahulugan.