Kirjoittaja Aihe: Tervetuloa testaamaan selaimella suomenkielen oikolukua :)  (Luettu 413 kertaa)

UbunTux

  • Käyttäjä
  • Viestejä: 2053
  • KubunTux
    • Profiili
Kehitys on jo edennyt aika pitkälle

https://torille.pohjamuta.org/?book=79174&chapter=2

Repo täällä
https://gitlab.com/jiiihpeeh/torille

Saa jättää palautetta


Jos haluat käyttää tätä oikolukuna selaimessa yleisesti, pitää asentaa laajennus, joka ei vielä ole helposti asennettava.
Tämä siis teknisesti edistyneemmille
https://gitlab.com/jiiihpeeh/torille/-/tree/master/extensions?ref_type=heads





Joo... korjataan kirjotusvihreet valikoista.
« Viimeksi muokattu: 10.11.26 - klo:11.20 kirjoittanut UbunTux »

Jere Sumell

  • Käyttäjä
  • Viestejä: 813
  • Talous, Hallinto ja Markkinointi (AMK, 2017),B.B.A
    • Profiili
    • Tietokone-blogi
Vs: Tervetuloa testaamaan selaimella suomenkielen oikolukua :)
« Vastaus #1 : 11.11.26 - klo:10.34 »
Hyvä! Oletko miettinyt, voisiko eri kotimaamme alueiden murteilla vastaavaa ohjelmaa hyödyntää? Se tekisi runouden harrastajien elämän mielekkäämmäksi mahdollisesti. Ja osa jo nykysukupolvien unohtamista suomen "kielistä" voisi kokea uuden renesanssin jossain kohtaa.

Omanikaan sukupolvi ei puhu täällä kotikaupungissani Turussa juuri wanhaa raumaa saati sitten omaa turku -aksenttia kuule, vaikka itsekin olen tietämättäni ympäristötekijöiden vaikutteen osalta syyllistynyt puhumaan "turkulaisittain" -kuulemma itse sitä edes huomaamatta.

Toinen kehitysehdotus, että käyttäjän syötteellä ohjelma tulostaisi kirjoitetun tekstin merkityksiin jopa vaihtoehtoisiin merkityksiin perustuvaa ulostuloa. Siinä ja viihdearvo ehkä suurempi, mitä nuo jo osittain nykypolven mainitsemani aluemurteet siinäkin on viihdearvoa, mutta perinteinen runous siirtyisi tähän tekoälyaikaan mukavalla tavalla.

Sinullahan voisi olla "avaimet" kädessä tuon Firefox-liitännäis-projektisi osalta näihinkin?
Free Internet and  people for humans all over the globe!

(Profiilikuvassa oma valokuvani GIMPissä editoituna Disney Classic-väripaletin väreihin ja muunnettuna bittikartta-tiedostosta vektorigrafiikaksi.)

UbunTux

  • Käyttäjä
  • Viestejä: 2053
  • KubunTux
    • Profiili
Vs: Tervetuloa testaamaan selaimella suomenkielen oikolukua :)
« Vastaus #2 : 11.11.26 - klo:15.05 »
Murteet voinevat onnistua, se vaatii pikkuisen uudelleen järjestelyä ja sanalistoja, sekä tietysti murteen kieliopin, eikä sitä luultavasti kannata laittaa perusjakeluun.  En ole minkäänlainen kielitieteilijä, joten en osaa sanoa miten murteet suhtetutuvat melko säännölliseen suomenkieleen.

Sanalistan paisuttaminen voi paisuttaa jakelun kokoa paljonkin. Oma ratkaisuni  vie pakkaamattomana noin 20 megatavua, mikä ei ole liikaa lähes täysimittaiselle sanastolle. (Toteutuksessa käytän  phf karttoja (perfectt hash function) joka pilkkoo sanoja avaimena a sitten vertailee persumuodon eli arvon sijamuotojen ymv välillä eli niitä muotoja alkaisi kertymään paljonkin).


Tällä hetkellä tämä ei ymmärrä merkityskesitä vielä mitään. Tavoitteena olisi ensin saada lauseopinhallinta jonkinlaiseksi.

 Terveisin ganaalinrannal syntynyt.

Jere Sumell

  • Käyttäjä
  • Viestejä: 813
  • Talous, Hallinto ja Markkinointi (AMK, 2017),B.B.A
    • Profiili
    • Tietokone-blogi
Vs: Tervetuloa testaamaan selaimella suomenkielen oikolukua :)
« Vastaus #3 : 12.11.26 - klo:09.52 »
Tällä hetkellä tämä ei ymmärrä merkityskesitä vielä mitään. Tavoitteena olisi ensin saada lauseopinhallinta jonkinlaiseksi.

No peruskielioppi suomen yleiskielen oikolukuohjelmassa on hyvä lähtökohta, se nyt ainakin pitäisi toimia ennen alakieliin laajennettaessa. Onhan se niinkin.

En tiedä, kuinka paljon nyt tekoäly-aikakaudella tekoälystä on apua eri murteiden säännöstön osalta hakea vinkkejä koodaukseen, mutta varmasti enemmän aikaa säästävää hommaa, mitä lähteä yliopistoon tahkoamaan aihetta kielilaitokselle,

Itsekään en ole kielitieteilijä, vaikka makustelen kielillä vapaa-ajan harrastuksena humaanisti. Varmaan noissa murteissa ja jokin yleispätevä säännöstö pääasiassa on, joka sitten rajoittaa sitä sanalistan paisumisen kokoa kun sinnehän siinä tapauksessa täytyy pelkät poikkeukset yleissäännöstöstä lisätä.

En tiedä, voi olla aika kaukana vielä noiden johtavienkin tekoälymallien ja ohjelmien merkityksen ulostulo käyttäjän syötteestä samalla, että merkitys pysyisi  jotakuinkin samana tai aintaisia mielekkään vivahteen loppukäyttäjell (lukijalle). Tässä toimii yhä ihmisen aivot parhaana prosessorina vielä kait?

Meihin ei ole vielä sirupakkoa eritotenkaan lainsäädännössä kuten esimerkiksi koirille valitettava kyllä on, niin tosiaan vielä on matkaa että kone korvaisi täysin ihmisajattelun?
Free Internet and  people for humans all over the globe!

(Profiilikuvassa oma valokuvani GIMPissä editoituna Disney Classic-väripaletin väreihin ja muunnettuna bittikartta-tiedostosta vektorigrafiikaksi.)

UbunTux

  • Käyttäjä
  • Viestejä: 2053
  • KubunTux
    • Profiili
Vs: Tervetuloa testaamaan selaimella suomenkielen oikolukua :)
« Vastaus #4 : 12.11.26 - klo:16.31 »
Juu, ei siis sanalistan päivitys ole varmaan ylitsepääsemätön,

Rauman giäles näyttäisi olevan b<->p ja g<->k kaltaisia muuunnoksia riippuen edeltävistä sanoista.

Kaakkoismurteessa näyttäisi olevan sija kuin eksessiivi (näyttää näppärältä).

Potkut ministerintä

https://web.archive.org/web/20160918050637/http://www.kotus.fi/nyt/kolumnit/kieli-ikkuna_(1996_2009)/potkut_ministerinta


Mutta nyt kun puhutaan tekoälystä sen kyvyt ovat aikalailla ihmeellisiä tietyissä paikoissa.

Olen muutamassa tunnissa päässyt deepseekin kanssa todella pitkälle lauseopissa.

Kun puhutaan koodauskielistä jokunen kuukausi sitten kokeilin ihan huvikseni laadittaa ohjelmointikielen kyseisellä kiinanihmeellä. Vauhti huimasi päätä.

Nyt puskin repoon ja siellä näyttää olevan Claude apukirjoittajana, vaikka edellisen kerran käytin sitä helmikuussa. No, kiinalaisessa tisleessä on näemmä Dario Amodein hikipisaroita.

Jere Sumell

  • Käyttäjä
  • Viestejä: 813
  • Talous, Hallinto ja Markkinointi (AMK, 2017),B.B.A
    • Profiili
    • Tietokone-blogi
Vs: Tervetuloa testaamaan selaimella suomenkielen oikolukua :)
« Vastaus #5 : 13.11.26 - klo:17.11 »
Kielissä ja tietty "kielisukupuu", miten väestö levinnyt joltain kielialueelta johonkin päin ja kieli on muokkautunut omakseen (esimerkiksi suomen kielen lähisukulaiset saame ja viron kieli), niin alamurteiden jälkeen sukupuuta veistämään, niin voi tutkia miten esim. viron kieli on saanut oppia suomen kielen rakenteista johdonmukaisuuksia vai onko asia toisinpäni?

Jokainen maailman elossa oleva luonnollinen puhuttu kieli on oma tutkimusaiheensa sinänsä, ja savottaa löytyy varmasti tosi pitkään jos rajaisi "vain" esim. suomen kieleen ja suomen alueellisiin murteisiin.

Hyvä lähtökohta tuo suomen kieli sinulla, mitä projekti kannattaakin rajata mahdollisimman suppeaksi aluksi ja sitten kun homma näyttää "toimivan" vitheettä niin jokin looginen jatkumo projektin laajentamisen osalta. Tuo suomen kieli nyt järkevä kielirajaus, mitä oletan että äidinkielesi on suomi.
Free Internet and  people for humans all over the globe!

(Profiilikuvassa oma valokuvani GIMPissä editoituna Disney Classic-väripaletin väreihin ja muunnettuna bittikartta-tiedostosta vektorigrafiikaksi.)

AimoE

  • Käyttäjä
  • Viestejä: 3120
    • Profiili
Vs: Tervetuloa testaamaan selaimella suomenkielen oikolukua :)
« Vastaus #6 : 13.11.26 - klo:20.57 »
Kielissä ja tietty "kielisukupuu", miten väestö levinnyt joltain kielialueelta johonkin päin ja kieli on muokkautunut omakseen (esimerkiksi suomen kielen lähisukulaiset saame ja viron kieli), niin alamurteiden jälkeen sukupuuta veistämään, niin voi tutkia miten esim. viron kieli on saanut oppia suomen kielen rakenteista johdonmukaisuuksia vai onko asia toisinpäni

Suomessa on pitkään uskottu että kieli on jakautunut väestön liikkeiden mukaan, mutta nyt tiedetään, että uralilainen kieliperhe on syntynyt ihan toisella tavalla. Viimeisimmän tiedon mukaan näyttäisi siltä, että uralilaisten kielten sukupuu ei ole puu vaan litteä harava.

Kantauralia on puhunut länsi-Siperian metsävyöhykkeellä asunut harvalukuinen kansa, joka eli kalastuksen, metsästyksen ja keräilyn varassa. Globaalin kylmän jakson aikana he alkoivat pyynnin ohessa kaupata myöskin pronssiesineitä, jotka olivat peräisin Altai-vuoriston juurelta. Kauppareitti ulottui pikkuhiljaa pidemmälle länteen, ja kauppareitin varrella asuvat kansat oppivat puhumaan näiden kauppiaiden kanssa yleisuralia, joka oli yksinkertaisempaa kuin kantaurali. Koska asiakaskansat puhuivat yleisuralia vieraana kielenä, kukin puhui sitä alusta asti eri tavalla. Sen muutaman vuosisadan aikana, jolloin kauppaa käytiin, nämä kansat vähitellen vaihtoivat kielensä yleisuraliin, ja kun pronssikauppa loppui vajaa neljä tuhatta vuotta sitten, kantauralin puhujat sulautuivat kauppareitin varren kansoihin. Mutta kauppiaita oli joka paikassa hyvin vähän suhteessa asiakaskansoihin, joten heistä on jäänyt erittäin pieni jalanjälki nykyisiin uralilaisen kieliperheen kansoihin. Vain samojedikielten puhujilla on suuri määrä kantaruralia puhuneiden perimää.

Samalla kun kauppa loppui, alkuaankin murteelliset tavat puhua yleisuralia johtivat siihen, että yleisuralin puhujat jakautuivat uralilaisen kieliperheen yhdeksään päähaaraan. Eri päähaaroissa tapahtui vielä toinen jakautuminen maanviljelijöiden ja pyyntikulttuurien välillä. Nimittäin kantauralissa ei ollut yhtään sanastoa maanviljelyyn eikä tundralla elämiseen. Maanviljelijät lainasivat tarvittavan sanaston lähimmästä indoeurooppalaisesta kielestä, mutta jostain syystä jatkoivat sitkeästi uralilaisen kielen puhumista.  Vasta kekiaikana alkanut venäläinen kolonisaatio alkoi tuhota uralilaisia kieliä nykyisen Venäjän alueella. Pyyntikulttuureissa puolestaan jouduttiin maanviljelyn leviämisen takia ulottamaan pyyntireissut jatkuvasti pidemmälle pohjoiseen, ja tundrasanasto lainattiin niiltä, jotka tundralla asuivat jo ennestään. Kummatkin lainasanastot ovat erilaiset jokaisessa päähaarassa.

Vaikka kaskiviljely levisi etelä-Suomessa laajalle jo pronssikaudella, viljelyn varassa ei silloin voinut vielä elää. Koska pyynti pysyi pääelinkeinona, puhuttiin etelä-Suomen alueella sitä samaa pyyntikulttuuri-uralilaista, jota puhuttiin laajalla alueella täältä kaakkoon. Agraari-uralilainen itämerensuomalainen haara syntyi Baltian puolella, ja levisi sieltä lounais-Suomeen rautakauden alussa. Noin kaksi tuhatta vuotta sitten suomen kieli lopulta haarautui omaksi kielekseen lounais-Suomessa, ja muualla Suomessa puhuttu uralilainen kieli muovautui samaan aikaan saamen kieleksi. Kumpikin kieli alkoi sitten levitä laajemmalle. Päätoimisen maanviljelyn levitessä eteläisimmät saamen puhujat sulautuivat suomalaisiin, mutta pohjoisessa saami levisi myöskin läntisen Fennoskandian puolelle siellä missä pyyntikulttuuri oli voimissaan.

Olen tässä käyttänyt lähteenä tuon yllä linkkaamani artikkelin lisäksi kirjaa ”Muinaisuutemme jäljet”, joka kertaa arkeologisia löytöjä. Kirja on jo kymmenisen vuotta vanha, joten kieliasioista siinä on paikoin vanhentunutta tietoa, mutta olen sovittanut tässä yhteen joitain muitakin lähteitä.
« Viimeksi muokattu: 13.11.26 - klo:21.02 kirjoittanut AimoE »

JaniAlander

  • Käyttäjä / moderaattori+
  • Viestejä: 3690
    • Profiili
Vs: Tervetuloa testaamaan selaimella suomenkielen oikolukua :)
« Vastaus #7 : tänään kello 02:48 »
Sitten suomenkielen murteissa vielä vaikkapa merenkulku sekoittaa, vaikkapa Rauman giäl muistuttaa kohtalaisesti eestiä....ts. lähisukuisesta kielestä lainattu.
Core i5-9400F 2.9ghz 32GB Ram, Nvidia RTX2060, Ghostbsd 15.0-RELEASE-p5, Windows 11 Pro 64-bit , Joku ties mikä Lenovo, Ubuntu-Mate 24.04 64-bit.
Lenovo T60 Core2Duo 2GB Ram Ati Mobility Radeon 128 MB Ubuntu Mate 16.04-64bit
Commodore Amiga 500 1MB Ram.