AnythingLLM ja llama 3.2

[ilkant]

Asensin AnythingLLM - Kätevä GPT omalle koneelle. Valitsin malliksi llama 3.2, sillä se ei vaadi API-avainta eikä siis maksujakaan. Asennus sujui kohtalaisen helposti. Ja nyt omalla koneella pyörii tekoäly. Kuluttaa keskusmuistia 0,5 - 1 GB. Prosessoriaikaa ei kulu liikaa i5-10400F prosessorilta. Laitteistokiihdytys voisi lisätä vastausnopeutta, mutta se on koneella asetettu pois käytöstä. Tekoälylle voi kirjoitella suomeksi ja se vastaa suomeksi. Sille voi antaa materiaaliksi omalla koneella PDF:iä ja RAGeja (Retrieval-Augmented Generation) ja tekstitiedostoja sekä urleja tekoälyn tietolähteenä. Tiettävästi ne eivät mene muiden tekoälyjen oppimismateriaaliksi.

Aika kätevältä tuntuu pienestä hitaudesta huolimatta. Minä kokeilin vielä kysyä vielä, mitä on vibe-koodaus. Sen se selitti Kubuntun Waylandia käyttävää näyttöjärjestelmään liittyvää. Videolla ei puhuta Kubuntusta mitään. Ehkä se on sitten aiemmin liittynty jollain tavalla.

Mielenkiintoinen tekoälykokeilu tuo on ollut.

[ilkant]

Tuo antaa vastauksia kuin käkikello. Kysyin paljonko kello on. Se vastasi 9 aamulla. Ja sanoipa vielä, että nyt on aikaa koko päivä tehdä juttuja. Mutta kun oikea aika oli 6 tuntia aiemmin tai 18 tuntia myöhemmin riippuen, miiten sen laskee. Tästä päästäänkin siihen, että miten tuota tietämystä voisi virittää lähemmäs ihmisen ymmärrystä asioista. Ehkä oman koneen tietolähteisiin pitäisi laittaa joku mekanismi, että se ottaa ajan tietokoneen kellosta.

Sitten tulee kysymys, että kannattaisiko vaihtaa toiseen tietomalliin. Niitähän on useita ilmaisia.

Tuo toimii merkkipohjaisena. Ehkä siihen saisi graafisen selainversion.

Tämän perusteella käytän niitä netissä olevia tekoälyjä. Yritän tehdä kyselyt siten, että päivässä kysyisin vain sen verran, mitä ilmaisena voi käyttää sitä tekoälyä. Ja sitten toisella tekoälyllä jatkaisin, jos tarvitsee enemmän tekoälyvoimaa. Varsinkin Grok tuntuu kiristäneen resursseja pienemmiksi. Chat GPT:n kanssa voi jutella pitkäänkin. Muista minulla ei ole tarpeeksi kokekmusta tällä hetkellä.

[Jakke77]

nuo omalta koneelta toimivat mallit on kyllä käteviä mutta jos toimivan tahtoo ni saa olla melkoinen mylly. itsekin niitä kokeilin mutta ajattelin pysyä noissa netti versioissa

[ilkant]

Asennuksessa se kysyi, että haluanko AppArmorin. Ja kyllähän minä tietoturvan takia halusin. Sittemmin huomasin, että AppArmor esti jonkun toisen ohjelman käynnistyksen. Ja salasana olikin joku, jota en tiennyt. Poistin koko AppArmorin. Käynnistyksessä kone suoltaa noin 30 rivillistä tietoja. Aluksi pelästyin, että nyt kone ei käynnisty kun tuo päättyy Erroriin. Mutta se käynnistyi. Pitäisi vielä tutkia, miten ne rivilliset saisi pois käynnistyksessä.

Olihan tuo kyllä jännä kokeilu. Turvaudun kyllä Chat GPT:hen tunnuksella ja Grokiin sekä Geminiin. Toin toki kokeilla jotain LLM-mallia, josko se antaisi omalla koneella parempia vastauksia.

[_Pete_]

Olihan tuo kyllä jännä kokeilu. Turvaudun kyllä Chat GPT:hen tunnuksella ja Grokiin sekä Geminiin. Toin toki kokeilla jotain LLM-mallia, josko se antaisi omalla koneella parempia vastauksia.

Itse suosinut ollama ja sille on paljon erilaisia malleja: https://ollama.com/library

Bonuksena toimii suoraan komentoriviltä mutta tarvittaessa pystyy asentamaan samanlaisen selain UI:n joka on chatgpt:ssä.