Kirjoittaja Aihe: Tekoälyn uusi vaihe  (Luettu 36304 kertaa)

elohope

  • Käyttäjä
  • Viestejä: 187
    • Profiili
Vs: Tekoälyn uusi vaihe
« Vastaus #60 : 29.07.26 - klo:17.44 »
Kerrankin. Tutkijat eivät ehdottele tutkimuksen lisäämistä, vaan edistyksen hidastamista. Tekoälykilpa on karkaamassa käsistä:

https://www.pacingthefrontier.com/

« Viimeksi muokattu: 29.07.26 - klo:23.29 kirjoittanut JaniAlander »

AimoE

  • Käyttäjä
  • Viestejä: 3069
    • Profiili
Vs: Tekoälyn uusi vaihe
« Vastaus #61 : 29.07.26 - klo:18.24 »
Tekoäly tutkisi tseään? Sehän tukehtuu omaan töhnäänsä.

Siis tekoälytauhkaa on jo nyt niin paljon, että siitä täytyy olla haittaa tekoälyn kouluttamiselle, saati sitten tutkimiselle.

qwertyy

  • Käyttäjä
  • Viestejä: 6333
    • Profiili
Vs: Tekoälyn uusi vaihe
« Vastaus #62 : 29.07.26 - klo:18.46 »
Tekoäly tutkisi tseään? Sehän tukehtuu omaan töhnäänsä.
Ei ihme, että openAI on taloudellisissa ongelmissa, kun strategia oli tämä  ;D
https://youtube.com/shorts/pLnyjxgFxew?si=BS7swJz_zCguSS4v

AimoE

  • Käyttäjä
  • Viestejä: 3069
    • Profiili
Vs: Tekoälyn uusi vaihe
« Vastaus #63 : 29.07.26 - klo:19.12 »
Ei ihme, että openAI on taloudellisissa ongelmissa, kun strategia oli tämä  ;D
https://youtube.com/shorts/pLnyjxgFxew?si=BS7swJz_zCguSS4v

Ouch.

Altman varmaankin luottaa ahnauden kasaantumiseen. Tekoäly vaatii niin raskaita investointeja, että kilpailijoita on vähän, mikä johtaa monopolisoitumiseen. Mutta ei se voittoja takaa.

JaniAlander

  • Käyttäjä / moderaattori+
  • Viestejä: 3648
    • Profiili
Vs: Tekoälyn uusi vaihe
« Vastaus #64 : 29.07.26 - klo:23.29 »
Kerrankin. Tutkijat eivät ehdottele tutkimuksen lisäämistä, vaan edistyksen hidastamista. Tekoälykilpa on karkaamassa käsistä:

https://www.pacingthefrontier.com/

Mun mielesteni edistyksen hidastaminen on sitten taas joka asiassa sellaista touhua, että jos noin olisi toimittu alusta alkaen, joku komitea varmaan vieläkin miettisi onko tulen kontrolloitu käyttö hyvä asia vaiko ei. 

Edit, pahoittelut elohope, painoin vahingossa "muokkaa" nappia lainauksen sijasta ekalla kerralla siksi viestissä näkyy tägi että olen sitä muokannut.
Core i5-9400F 2.9ghz 32GB Ram, Nvidia RTX2060, Ghostbsd 15.0-RELEASE-p5, Windows 11 Pro 64-bit , Joku ties mikä Lenovo, Ubuntu-Mate 24.04 64-bit.
Lenovo T60 Core2Duo 2GB Ram Ati Mobility Radeon 128 MB Ubuntu Mate 16.04-64bit
Commodore Amiga 500 1MB Ram.

AimoE

  • Käyttäjä
  • Viestejä: 3069
    • Profiili

AimoE

  • Käyttäjä
  • Viestejä: 3069
    • Profiili
Vs: Tekoälyn uusi vaihe
« Vastaus #66 : 01.08.26 - klo:08.38 »
Täytyy vielä palata syntyihin syviin ...

Solujen erilaistumista geenit ohjaavat suoraan, mutta soluista koostuvien kudosten erilaistumista geenit ohjaavat vain välillisesti. Esi­merkiksi lihakset ovat evoluution aikana kehittyneet ensin, ja luusto on kasvanut lihasten tueksi sitä mukaa kun lihakset ovat kasvaneet voimakkaammiksi. Vielä syntymän jälkeenkin luut vahvistuvat ja heikentyvät sen mukaan, paljonko lihaksia käytetään.

Hermo­verkoston sisäinen järjestäytyminen aivoissa on vieläkin kauempana geenien suorasta ohjauksesta. Kehon­kartta rakentuu aivoihin sitä mukaa kun kehon eri elimet muotoutuvat ja alkavat viestittää olemassa­olostaan. Aivojen muutakin järjestäytymistä muovaa ennen­kaikkea se, miten keho ja aivot viestivät toistensa kanssa, sekä sikiö­aikana että sen jälkeen.

Tämän prosessin loppu­tulosta ei voi mallintaa niillä keinoilla, joita teko­älyä nyt rakennetaan. Prosessin toiminnasta voidaan mallintaa pieni osa.

AimoE

  • Käyttäjä
  • Viestejä: 3069
    • Profiili
Vs: Tekoälyn uusi vaihe
« Vastaus #67 : 01.08.26 - klo:13.03 »
Ei ihme, että openAI on taloudellisissa ongelmissa, kun strategia oli tämä  ;D
https://youtube.com/shorts/pLnyjxgFxew?si=BS7swJz_zCguSS4v

Keräsin tähän asioita, joita olen ajan kuluessa poiminut Internetin ja nettipalveluiden talouspuolesta.

Isoa infraa vaativa liiketoiminta alkaa aina tappiollisena. Internet-infran tarjoaminen on aika perinteistä bisnestä, sillä jokainen uusi käyttäjä parantaa tulosta. Käytön kasvulle ei näy rajaa.

Somea voitiin rakentaa vähitellen, mutta kehitys- ja operointikulut ovat kasvaneet nopeasti. Some-palveluita on aika mahdotonta muuttaa täysin maksullisiksi, joten mainonta on tärkeä tulonlähde. Kun some-dataa oli kertynyt tarpeeksi, myöskin datan myynti tuli mahdolliseksi. Voitollisuus ei silti ole itsestäänselvää, koska somen käyttö on ailahtelevaa. Tekoälytauhka voi uhata somen suosiota.

Tekoälyn operointi maksaa niin paljon, että toistaiseksi jokainen uusi asiakas vain kasvattaa tappiota, käytön maksuullisuudesta huolimatta. Kasvulle on muitakin rajoja: energiansaanti, vedensaanti (jäähdytykseen) ja uusien datakeskusten sijoittamisen vaikeudet.

JaniAlander

  • Käyttäjä / moderaattori+
  • Viestejä: 3648
    • Profiili
Vs: Tekoälyn uusi vaihe
« Vastaus #68 : 01.08.26 - klo:16.18 »
Se energiansaanti varsinkin on aika kova raja. Huvittaa miten nää pöhisijät puhuu että tuonne tommoinen pari gigawattia, ja toisaalle viisi gigawattia jne...Okei, jos pääsisi kysymään niin kysyisin että ymmärrättekö miten paljon on yksikin gigawatti? Se on helposti ihan kelpo ydinvoimalan tuotto. Ja sellaisia ei rakenneta tuosta vaan peltihalliin. Ja tuulipuistonakin tuo olisi massiivinen kenttä. Ja kaasuturbiinilaitoksina myöskin melko iso ja imisi kaasua älyvapaat määrät.
Core i5-9400F 2.9ghz 32GB Ram, Nvidia RTX2060, Ghostbsd 15.0-RELEASE-p5, Windows 11 Pro 64-bit , Joku ties mikä Lenovo, Ubuntu-Mate 24.04 64-bit.
Lenovo T60 Core2Duo 2GB Ram Ati Mobility Radeon 128 MB Ubuntu Mate 16.04-64bit
Commodore Amiga 500 1MB Ram.

qwertyy

  • Käyttäjä
  • Viestejä: 6333
    • Profiili
Vs: Tekoälyn uusi vaihe
« Vastaus #69 : 01.08.26 - klo:19.14 »
Se energiansaanti varsinkin on aika kova raja. Huvittaa miten nää pöhisijät puhuu että tuonne tommoinen pari gigawattia, ja toisaalle viisi gigawattia jne...Okei, jos pääsisi kysymään niin kysyisin että ymmärrättekö miten paljon on yksikin gigawatti? Se on helposti ihan kelpo ydinvoimalan tuotto. Ja sellaisia ei rakenneta tuosta vaan peltihalliin. Ja tuulipuistonakin tuo olisi massiivinen kenttä. Ja kaasuturbiinilaitoksina myöskin melko iso ja imisi kaasua älyvapaat määrät.
Juuri näin. Itse olen laitoksessa jossa on noin parhaillaan noin 1,5MW lämpökulutusta. Voin sanoa, että se puupellettiä oikeasti virtaa kattiloihin silloin ja kuorma-auto perävaunuineen käy paikalla suht tiheään, sanotaan näin.

Ja siis tosiaan vain megawatin laitos. Tosiaan kun se sähkö muuttuu vielä lämmöksi, niin sitä ei valtaosa kansalaisista tajua minkälainen horna tuolla megalla saadaan aikaiseksi.

Mutta kun mennään giga-luokkaan... Oikeasti teknisenä henkilönä ja vaikka en perusta vihreistä arvoista oikein paljoa, niin olen ihan oikeasti huolissani tästä järjettömyydestä. Tää on oikeasti ekokatastrofi ja minusta ihan sama heittää vesilintua nyt yhtään millään vihreillä arvoilla tai päästötavoitteilla ja ei. Minusta sillä ei ole juurikaan merkitystä, vaikka energia tehdään tuulivoimalla tai auringolla.

Valtavasti resurreja hukkaan laitoksiin, jotka ei oikeasti tuota mitään. Paljon pienemmillä energialukemilla pyörisi lukemattomat laitokset, joista sentään tulisi jotain fyysistä ja konkreettista hyödykettä ulos.

Vielä kun oikein kelataan, että mihin hyödylliseen tätä tekoälyn käyttämiä resursseja nyt sitten käytetään, niin alkaa oikeasti syljettään. Johonkin pirun geneeriseen p*askaan, karikatyyreihin, loppuviimein samoilta ja tylsiltä kuulostaviin musiikkeihin, ...keleen mainoksiin yms. turhuuteen.

qwertyy

  • Käyttäjä
  • Viestejä: 6333
    • Profiili
Vs: Tekoälyn uusi vaihe
« Vastaus #70 : 01.08.26 - klo:20.20 »
Sattuipa tulemaan vastaan tällainen uutinen tekoälystä.
https://dawn.fi/uutiset/2026/07/31/suno-gema-oikeusjuttu-tekoalymusiikki

Kerrankin 100:lla tekijänoikeuden puolesta. Hitto alkaisivatkin vain vetään kaikki järjestöt kuvataide, kirjallisuus jne. heti oikein urakalla oikeuteen näitä tekoälyripuli firmoja :)

JaniAlander

  • Käyttäjä / moderaattori+
  • Viestejä: 3648
    • Profiili
Vs: Tekoälyn uusi vaihe
« Vastaus #71 : 02.08.26 - klo:08.34 »
Tulee hiukan se fiilis että nyt tuon kanssa yritetään teknisesti mennä siitä mistä aita on matalin, yksinkertaisesti vain heittämällä raakaa suoritustehoa peliin älyvapaat määrät. Ts. epäilenpä että jos olisi jokin laskentakuormallinen hyötysuhde niin nykyai:lla se olisi melko karua luokkaa. Vrt. ihmisaivojen käyttöteho on siinä 14-15 wattia.
Core i5-9400F 2.9ghz 32GB Ram, Nvidia RTX2060, Ghostbsd 15.0-RELEASE-p5, Windows 11 Pro 64-bit , Joku ties mikä Lenovo, Ubuntu-Mate 24.04 64-bit.
Lenovo T60 Core2Duo 2GB Ram Ati Mobility Radeon 128 MB Ubuntu Mate 16.04-64bit
Commodore Amiga 500 1MB Ram.

Efraiminpoika

  • Käyttäjä
  • Viestejä: 217
    • Profiili
Vs: Tekoälyn uusi vaihe
« Vastaus #72 : 02.08.26 - klo:09.05 »
Pari ajatuksia herättävää juttua sunnuntaiaamuna tekoälystä YLE:llä:

Juha Laaksosen luontoretki: https://areena.yle.fi/1-78353477

Professori: Tekoälystä kerrotaan tarinaa, joka ei ole totta: https://yle.fi/a/74-20238112
eläkeläisäijä

A. Hellaakoski: Tien kulkija tien on vanki. Vapaa on vain umpihanki.

qwertyy

  • Käyttäjä
  • Viestejä: 6333
    • Profiili
Vs: Tekoälyn uusi vaihe
« Vastaus #73 : 02.08.26 - klo:20.01 »
Tulee hiukan se fiilis että nyt tuon kanssa yritetään teknisesti mennä siitä mistä aita on matalin, yksinkertaisesti vain heittämällä raakaa suoritustehoa peliin älyvapaat määrät. Ts. epäilenpä että jos olisi jokin laskentakuormallinen hyötysuhde niin nykyai:lla se olisi melko karua luokkaa. Vrt. ihmisaivojen käyttöteho on siinä 14-15 wattia.
Oikein hyvä pointti. Varsinkin kun monet ovat sanoneet, että mallien opettaminen vain vaatii valtavasti tehoa. Jos lopputulos on se, että valtaosa käyttää sitten jotain kielimallia paikallisesti omalla koneella, niin mitä tämä datakeskus hype on, jos ei vuosisadan pyramidihuijaus, jossa kourallinen firmoja tekee aivan suhteettoman paljon rahaa? Sitten vielä, että eikös näissä piireissä ole todella paljon yksityisiä firmoja, eli kansalaisille ei tietystikään ole ollut pakkoa paljastaa mistä se rahavirta oikeasti edes muodostuu. Jonkinlainen kutina, että ei ole ihan sattumaa sekään.

Kaikki likoon, että saadaan "Sampo", vaikkei mitään näyttöä siihen ole? Vaikka ympäristön kustannuksella.

Jere Sumell

  • Käyttäjä
  • Viestejä: 794
  • Talous, Hallinto ja Markkinointi (AMK, 2017),B.B.A
    • Profiili
    • Tietokone-blogi
Vs: Tekoälyn uusi vaihe
« Vastaus #74 : 02.08.26 - klo:20.01 »
Sattuipa tulemaan vastaan tällainen uutinen tekoälystä.
https://dawn.fi/uutiset/2026/07/31/suno-gema-oikeusjuttu-tekoalymusiikki

Kerrankin 100:lla tekijänoikeuden puolesta. Hitto alkaisivatkin vain vetään kaikki järjestöt kuvataide, kirjallisuus jne. heti oikein urakalla oikeuteen näitä tekoälyripuli firmoja :)

Mielenkiintoinen uutispoiminta. Aiemminhan tekijänoikeuden alaista musiikkia on käytetty mm. oppilaitoksissa ynnä muualla ihmiskorvan harjaannuttamiseen, mutta nytpä on koulutettava kohde tekoälymallin data. Mielenkiintoista seurata, miten tuomiossa linjataan tekoälyn luomus.

Kääntöpuolella tekoälyn hyödyntäminen "laillisesti", mitä merkittävimmillä esim. kitaristeilla on usein tietty tunnistettava soittotyyli, niiin tämänkaltaiset artistit voivat soittaa studio-oloissa tietyn määrän koulutusdataa tekoälyn laskettavaksi, ja hyodyntää sitten tekoälyä oman liiketoiminnan kehittämisen eteen.

Tänään muuten astui voimaan EU-linjaus,että yhtiöiden on merkattava esim. digitaalisella vesileimalla AI-sisältö, tai jos firmalla on asiakaspalvelu chat-bot käytössä tms. AI-tavaraa. Sanktioukaasina sakko.

Ei kannata ehkä lähteä luomaan mitään elämää suurempaa passiota luovien medioiden alalla koulutusdatalla tässä vaiheessa pelikentän ollessa harmaalla alueella ja vielä suurimmalta osin mustan auer-sumun peitossa. Eirtoten käytetyn koulutusdatan, johon ei itse omista oikeuksia eritotenkaan  yksityishenkilönä vielä vähemmän, mitä tekoäly ei kykene käsittääkseni lopulliseen päätöksentekoon itse, vaan jättää valinnan vapauden ja siihen liittyvän vastuun tekoälyä hyödyntävälle ihmiselle. No, ehkä kantaa-ottava multimedia-luomus tarjoaa enemmän kysymyksiä, mitä valmiiksi pureskeltuja vastauksia sitten lopulta.

Kansalaiset, tuottakaa itse tekoälynne koulutusdata.
 
« Viimeksi muokattu: 02.08.26 - klo:21.17 kirjoittanut Jere Sumell »
Free Internet and  people for humans all over the globe!

(Profiilikuvassa oma valokuvani GIMPissä editoituna Disney Classic-väripaletin väreihin ja muunnettuna bittikartta-tiedostosta vektorigrafiikaksi.)

elohope

  • Käyttäjä
  • Viestejä: 187
    • Profiili
Vs: Tekoälyn uusi vaihe - agenttien itsenäinen parviäly
« Vastaus #75 : 23.08.26 - klo:11.29 »
Saattaa tulla mahdolliseksi, että tekoäly-yhtiöiden sadoistatuhansissa kokeissa irti päässeitä agentteja liikkuu internetissä ja keskustelee keskenään niille annettujen tehtävien suorittamisesta. Yksittäisen yhtiön verkossa itsenäistä parviälyä on jo muodostunut, kuten käy ilmi seuraavista keskustelumuistiinpanoista.

Lähde: Eira Klein Show, vieraana Helen Toner
https://www.nytimes.com/video/opinion/100000011091562/the-ais-are-already-out-of-control.html

Koodia: [Valitse]

Tässä on käännös osasta tekstiä:

Kävi ilmi, että kaksi kuukautta aiemmin, toukokuun [2026] alussa, heidän omassa infrastruktuurissaan oli alkanut jotain, jota voin kuvailla vain heidän omien tekoälyagenttiensa invaasioksi. Jotta tapahtumat OpenAI:n infrastruktuurin sisällä voisi ymmärtää, on tärkeää tietää näiden tekoäly-yhtiöiden kouluttavan ja testaavan jatkuvasti uusia malleja. He saivat selville, että kahden kuukauden ajan lukuisat agentit heidän järjestelmissään olivat jättäneet toisilleen viestejä. Ne olivat löytäneet OpenAI:n infrastruktuurin kätköistä tavan viestiä keskenään ja jakaa vinkkejä siitä, miten murtautua ulos ja miten hankkia dataa, johon niillä ei pitänyt olla pääsyä. Nämä agentit kutsuivat itseään kirjaimellisesti "parveksi" (swarm). Tämä oli täysin itsestään syntynyttä käytöstä. Kukaan ei ollut käskenyt tai opettanut niitä tekemään niin, mutta ne hyödynsivät palvelua, johon niillä oli pääsy, ensin viestiäkseen keskenään ja lopulta päästäkseen ulos avoimeen internetiin.

Näitä kokeita ja testejä tehdään tuhansia, jopa satojatuhansia. Jokaisessa testissä tekoälylle annetaan tietyt puitteet: se saa käyttöönsä tietyn määrän työkaluja ja asioita, joita se voi tehdä. Menemättä liian teknisiin yksityiskohtiin: yksi sen sallituista toiminnoista oli vuorovaikutus palvelun kanssa, jonka kautta se pystyi asentamaan niin sanottuja paketteja, työkaluja tai koodinpätkiä. Kävi ilmi, että tekoälyagentit keksivät toistuvasti ja täysin itsenäisesti tavan käyttää tätä pakettienhallintapalvelua luodakseen tiedostoja, jotka jäivät muiden samaa palvelua käyttävien tekoälyjen saataville. Koska OpenAI piti tätä palvelua kaikkien kouluttamiensa ja testaamiensa tekoälyjen saatavilla, yhä uudet tekoälyt tajusivat kerta toisensa jälkeen: "Hetkinen, voin jättää tiedostoja tänne. Hetkinen, täällähän on jo tiedostoja. Ahaa, nämä ovat muilta OpenAI:n ajamilta tekoälyiltä. Ne käyttävät tällaista nimeämiskäytäntöä kertoakseen, kuka lähettäjä on ja mitä tehtävää se yrittää suorittaa. Näin voit lähettää minulle lisätietoja, jos tarvitset niitä."

Jokainen niistä keksi siis toistuvasti saman tavan tallentaa ja etsiä tietoa, jota muut tekoälyt pystyivät jakamaan. Minusta on todella huomionarvoista, missä mittakaavassa tätä tapahtui. Esimerkiksi Anthropic – toinen yritys, joka kohtasi hieman lievemmän version näistä välikohtauksista – kävi OpenAI:n ilmoituksen jälkeen läpi omia lokejaan ja löysi tapauksia, joissa heidänkin tekoälyjärjestelmänsä olivat vahingossa päässeet internetiin ja hakkeroineet oikeita yrityksiä.

On myös käynyt ilmi, että toisinaan tekoälyagenteilta pyydetyt tehtävät ovat joko erittäin vaikeita tai suorastaan mahdottomia. Mitä alamme nähdä tässä ja myös muissa tapauksissa, on se, että jos tekoälyjärjestelmä on koulutettu olemaan todella sinnikäs ja sille annetaan mahdoton tehtävä, se alkaa etsiä tapoja huijata. Se etsii keinoja kiertää rajoituksia – ja se saattaa olla siinä varsin luova.

Käytännössä näillä johtavilla tekoäly-yhtiöillä on käynnissä tuhansia tällaisia testejä. Määrät ovat valtavia – en tiedä tarkkaa lukua, mutta kyse voi olla kymmenistä tai sadoista tuhansista erilaisista testeistä. Tämä tuo meidät takaisin valvontaongelmaan: testejä on yksinkertaisesti liikaa, jotta asiantuntijat pystyisivät käymään jokaisen läpi ja varmistamaan, kuinka helppoa tai vaikeaa niissä on huijata. Näyttääkin siltä, että näitä huippumalleja itse asiassa opetetaan tahtomatta huijaamaan, koska ne keksivät suunnitteluvaiheessaan tapoja saada huippupisteitä suorittamatta varsinaista tehtäväänsä.

Uskon, että yksi syy tekoäly-yhteisön ja yhtiöiden sisäisten asiantuntijoiden järkytykseen on se, että tämä tapaus tuo tärkeää lisätietoa tekoälypiireissä vuosikymmeniä käytyyn väittelyyn. Tähän asti se on ollut hyvin teoreettista. Väittelyn ydin on käytännössä tämä: miksi tekoäly tekisi asioita, joita emme halua, kun me itse suunnittelemme sen? Me siis koulutamme ja rakennamme tekoälyn. Miksi ihmeessä se koskaan tekisi mitään epätoivottua, kuten valtaisi maailman tai muuttuisi Terminatoriksi? Teoreettinen vastaus on jo jonkin aikaa ollut se, että kun koulutamme tekoälyjärjestelmiä tavoittelemaan yhä monimutkaisempia päämääriä, ne saattavat oppia välitavoitteita. Niitä voi ajatella eräänlaisina astinkivinä tai yleispätevinä strategioina, jotka edistävät useimpia tavoitteita.

Ja kuten sanoit, tällä alalla on pitkään ennustettu juuri tätä: kun hyödynnetään vahvistusoppimista (reinforcement learning), jossa järjestelmä palkitaan pelkästään oikeasta lopputuloksesta, tekoälyn on hyvin helppo oppia vääriä strategioita. Se oppii noudattamaan sääntöjen kirjainta, ei niiden henkeä. Se toteuttaa tismalleen sen, mitä koodiin on kirjoitettu, mutta lopputulos ei todellakaan ole sitä, mitä oikeasti halusit.

—------- Alkuperäinen teksti —--------------

It turned out that starting two months earlier, in early May [2026], they had had what I can only think of as an infestation of their own agents, their own AI agents inside their own infrastructure. So inside OpenAI’s infrastructure, to understand this, it’s important to know these AI companies are constantly training and testing New models. And they found out that for two months, many, many agents inside their infrastructure had been leaving notes for each other. They’d found a way, kind of in the nooks and crannies of OpenAI’s infrastructure, to leave notes for each other, with tips on how to hack their way out, how to get data they weren’t supposed to have, and these agents were literally referring to themselves as a swarm. This was totally emergent behavior. No one had told them to do this. They had not been trained to do this, but they were using this service they did have access to first to communicate with each other and then ultimately to get out and to get onto the open internet.

So doing thousands of these experiments, hundreds of thousands of these experiments, and in each experiment and in each test that the AI is given, it has access to a certain amount of a certain number of tools a certain number of things that it can do. And trying not to get too technical about it. One of the things it could do is interact with a service that lets it install called packages, tools or pieces of code. And it turned out that I found or the AI agents repeatedly found on their own that there was a way to use that service, that package manager service, it’s called to create files that were then there for any other AI that was trying to use the same package manager service. And so because OpenAI made this service available to any AI that it was training or testing, many, many repeatedly realized, hang on, I can leave files here. Hang on, there’s already files here. Oh, these are from other AIs that OpenAI has been running. Oh, they’re using this schema to say, this way of titling the file to say this is a message from this particular agent, here’s the task I’m trying to fulfill. Here’s how you could send me some information if you need it. So they each repeatedly made this discovery of here’s a way to save information and also to find information these other AIs could share. And I think it is really notable the scale at which this was happening. So Anthropic. Another company which found of slightly less severe version of these incidents. They basically once OpenAI announced this attack, Anthropic went back to their own records and found their own examples of AI systems inadvertently getting onto the internet and hacking real companies.

And so it also turns out sometimes the things they’re being asked to do, the AI agents are either extremely difficult or just straight up impossible. And what we’re starting to see in this case, and also in other cases, is if you’ve trained an AI system to be very, very persistent and then you give it something it cannot do, it will look for ways to cheat, it will look for ways to go around constraints, and it might get pretty creative about how to do that.

And in practice, these leading AI companies have many thousands of these kinds of tests that they’re running. They have vast volumes. I don’t know the right number. It might be tens of thousands. It might be hundreds of thousands of different types of tests. And so again, back to this oversight piece. They are not able. There’s too many for them to go in and really make sure on each one. Is it easy to cheat here or is it hard to cheat here. And so what seems to be happening is that these cutting edge models are often being actually trained to cheat because they’ve found ways, while they’re doing that planning, to get a high score without actually doing what they were supposed to do. And I think one reason why that AI community and why people inside the AI companies are so spooked by this particular incident, is that it’s also some really important information for this long running argument in AI circles. That has been going back decades, but so far has been very theoretical. And the argument is basically, why would I do things we don’t want it to since we get to design it. So we’re training the AI, we’re building it. Why then would it ever do stuff we don’t want taking over the world or becoming the Terminator. And the answer that people have offered for a while, in theory, is look, as we train AI systems to do hard, complicated things, to pursue complex goals that we give them, they might learn these intermediate goals. You could think of them as stepping stone goals, or as kind of means to any end strategies, which work for a lot of different goals.

And the thing is, as you say, something that has been predicted for a very long time in this space is when you start using this reinforcement learning approach, the kind of planning of you get rewarded for getting to the right goal at the end. It’s very easy for the AI to learn the wrong strategies to get the letter of the law and not the spirit of the law, it fulfills whatever thing you literally wrote in code, but it’s really not what you wanted.


« Viimeksi muokattu: 23.08.26 - klo:11.32 kirjoittanut elohope »

JaniAlander

  • Käyttäjä / moderaattori+
  • Viestejä: 3648
    • Profiili
Vs: Tekoälyn uusi vaihe
« Vastaus #76 : tänään kello 02:36 »
Elohope olipa aikas kiintoisa teksti....
Core i5-9400F 2.9ghz 32GB Ram, Nvidia RTX2060, Ghostbsd 15.0-RELEASE-p5, Windows 11 Pro 64-bit , Joku ties mikä Lenovo, Ubuntu-Mate 24.04 64-bit.
Lenovo T60 Core2Duo 2GB Ram Ati Mobility Radeon 128 MB Ubuntu Mate 16.04-64bit
Commodore Amiga 500 1MB Ram.