Vain osa prosessorista käytössä

[Snufkin]

Mistä mahtaa johtua sellainen, että python-tulkki saa vain noin 25% prosessoritehosta käyttöönsä, vaikka muita (isoja) ohjelmia ei pyöri samaan aikaan? Eli Task Managerissa prossu käy vain 25% teholla ja koodin suoritus kesti 13 minuuttia.

[nm]

Mistä mahtaa johtua sellainen, että python-tulkki saa vain noin 25% prosessoritehosta käyttöönsä, vaikka muita (isoja) ohjelmia ei pyöri samaan aikaan? Eli Task Managerissa prossu käy vain 25% teholla ja koodin suoritus kesti 13 minuuttia.

Onko prosessorissasi neljä ydintä (tai 2 ydintä ja HT/SMT, jolloin näkyvät neljänä)? Silloin säikeistämätön ohjelma kuormittaa yhtä ydintä 100% ja muut ytimet idlaavat, jolloin prosessorin kokonaiskuorma on 25%. Katso eri ydinten kuorma esim. Järjestelmänvalvonnassa (GNOME System Monitor).

Koodi pitää säikeistää, jos haluat hyödyntää useampaa ydintä samanaikaisesti. Joissain tapauksissa voi olla järkevämpää ajaa vain useita sovelluksen instansseja yhtä aikaa.

[Snufkin]

Mistä mahtaa johtua sellainen, että python-tulkki saa vain noin 25% prosessoritehosta käyttöönsä, vaikka muita (isoja) ohjelmia ei pyöri samaan aikaan? Eli Task Managerissa prossu käy vain 25% teholla ja koodin suoritus kesti 13 minuuttia.

Onko prosessorissasi neljä ydintä (tai 2 ydintä ja HT/SMT, jolloin näkyvät neljänä)? Silloin säikeistämätön ohjelma kuormittaa yhtä ydintä 100% ja muut ytimet idlaavat, jolloin prosessorin kokonaiskuorma on 25%. Katso eri ydinten kuorma esim. Järjestelmänvalvonnassa (GNOME System Monitor).

Koodi pitää säikeistää, jos haluat hyödyntää useampaa ydintä samanaikaisesti. Joissain tapauksissa voi olla järkevämpää ajaa vain useita sovelluksen instansseja yhtä aikaa.

Ei löydy tuollaista ohjelmaa. Mulla on Xubuntu, jossa Task Manager.

CPU on i5, 2,5GHz: 1processor, 2 cores, 4 threads.

Eli säieteoria voi pitää paikkansa. 

Onko tuolle mitään tehtävissä?

[LeHiX]

Löytyykö suomennettuna: "Järjestelmänvalvonta" menusta?

[nm]

Onko tuolle mitään tehtävissä?

On:

Koodi pitää säikeistää, jos haluat hyödyntää useampaa ydintä samanaikaisesti. Joissain tapauksissa voi olla järkevämpää ajaa vain useita sovelluksen instansseja yhtä aikaa.

[Snufkin]

Onko tuolle mitään tehtävissä?

On:

Koodi pitää säikeistää, jos haluat hyödyntää useampaa ydintä samanaikaisesti. Joissain tapauksissa voi olla järkevämpää ajaa vain useita sovelluksen instansseja yhtä aikaa.

Eli sitä Python-tulkkia pitäisi säikeistää? vai voiko asiaan jotenkin vaikuttaa itse skriptissä?

[Snufkin]

Löytyykö suomennettuna: "Järjestelmänvalvonta" menusta?

Mulla englannin kielinen käyttis. En ole löytänyt mitään, josta selviäisi enemmän kuin kokonaiskuormitus tuolla prosessorilla.

[nm]

Eli sitä Python-tulkkia pitäisi säikeistää? vai voiko asiaan jotenkin vaikuttaa itse skriptissä?

Tulkki ei osaa säikeistää ohjelmaa automaattisesti, vaan skriptin ohjelmakoodia täytyy muuttaa siten, että se hyödyntää useita laskentasäikeitä. ThreadPoolExecutor on yksi vaihtoehto:

https://www.tutorialspoint.com/concurrency_in_python/concurrency_in_python_pool_of_threads.htm

https://superfastpython.com/threadpoolexecutor-in-python/

Numpy-koodia voi säikeistää mm. Numban avulla. Aihepiiri on kuitenkin aika monimutkainen, ja joissain tapauksissa koodia voi olla hyvin vaikea rinnakkaistaa algoritmitasolla. Joskus taas säikeiden synkronointi ja tulosten kerääminen syö suorituskykyhyödyn kokonaan.

[Snufkin]

Eli sitä Python-tulkkia pitäisi säikeistää? vai voiko asiaan jotenkin vaikuttaa itse skriptissä?

Tulkki ei osaa säikeistää ohjelmaa automaattisesti, vaan skriptin ohjelmakoodia täytyy muuttaa siten, että se hyödyntää useita laskentasäikeitä. ThreadPoolExecutor on yksi vaihtoehto:

https://www.tutorialspoint.com/concurrency_in_python/concurrency_in_python_pool_of_threads.htm

https://superfastpython.com/threadpoolexecutor-in-python/

Numpy-koodia voi säikeistää mm. Numban avulla. Aihepiiri on kuitenkin aika monimutkainen, ja joissain tapauksissa koodia voi olla hyvin vaikea rinnakkaistaa algoritmitasolla. Joskus taas säikeiden synkronointi ja tulosten kerääminen syö suorituskykyhyödyn kokonaan.

Ok, kiitos. Menee sen verran yli osaamiseni, että pitänee tyytyä toistaiseksi tuohn varttitehoon.

Onko muuten C-kääntäjällä sama ominaisuus? Vai osaako se optimoida koodia useammalle ytimelle automaattisesti?

[nm]

Onko muuten C-kääntäjällä sama ominaisuus? Vai osaako se optimoida koodia useammalle ytimelle automaattisesti?

Samalla tavalla menee C/C++:ssa, C#:ssa, Javassa ja useimmissa muissa kielissä. Ohjelmoijan on itse säikeistettävä koodinsa tai käytettävä apuna kielen tai kirjastojen tarjoamia rinnakkaislaskenta-abstraktioita. Tyypillisesti niillä voi vaikkapa jakaa silmukan suorittamisen rinnakkaisiin säikeisiin, jos suoritettavat osat eivät suoraan riipu toisistaan.

[Echramath]

"Sattuuhan sitä paremmissakin piireissä" eli Sid Meier's Civilization (kaikki osat) esimerkiksi pyörittää koko maailmaansa yhdessä säikeessä – ja mitenkäs muutenkaan, onhan se täysin vuoropohjainen eli kaikki mahdollinen tapahtuu peräkkäin. Käyttöliittymä sentään pyörii omassa säikeessään, mutta siitä huolimatta loppupelissä vuorot kestävät ja kestävät, samalla kun topin kuormitus prosessille pysyy 120%:ssa (tophan ilmoittaa 100% per ydin), eli neliydinlaitteessa pari ydintä ei tee käytännössä mitään asiaan liittyvää.

[Snufkin]

Tämä ongelma tuli vastaan yhdessä opiskelujutussa, jossa testailtiin erilaisia algoritmeja. Tuossa oli joku 10^5 x 10^6 sisäkkäiset for-silmukat, miksi homma kesti.

Muualla ei ole tullut vastaan, että "tietokoneesta loppuu teho", vaikka n. 10v vanha läppäri käytössä. Tosin en pelaa enkä juurikaan pyöritä videokuvaa.

Jos tuota tehoa tarvitsee, niin ilmeisesti pitää perehtyä useamman ytimen rinnakkaiseen ohjelmointiin. Toistaiseksi vasta ohjelmointiuran alussa, joten jäänee myöhemmäksi.

[Vika/fiba]

Muualla ei ole tullut vastaan, että "tietokoneesta loppuu teho".

Jos tuota tehoa tarvitsee, niin ilmeisesti pitää perehtyä useamman ytimen rinnakkaiseen ohjelmointiin. Toistaiseksi vasta ohjelmointiuran alussa, joten jäänee myöhemmäksi.

Jos suunnittelet ohjelmoinnista itsellesi uraa, kannattaa tosiaan perehtyä säikeistämiseen. Jos aihetta ymmärtää, hommia riittää, ja jos osaat ratkaista säikeistyksen ongelmia, siitä myös maksetaan.

Tämä liittyy prosessoritehon kasvattamisongelmaan: yhden prossun suorituskykyä on kovin vaikea kasvattaa, mutta helppoa (ja siis halpaa), on lisätä prosessoriin ytimiä.

Monet vanhat, laajasti käytetyt ohjelmat, eivät pysty jakamaan tehtäviä useille ytimille, Adoben ohjelmat, varsinkin Photoshop hyvänä esimerkkinä runsaasti prosessoritehoa ( ja muistia myös) vaativina ohjelmina, jotka käyttävät vain yhtä (virtuaalista) säiettä monisäikeisen prosessorin tehosta.

Olen asiasta kiinnostunut, koska tässä käyttämässäni koneessa on 12 prosessorisäiettä, virtuaalisesti 24; silti monessa tehtävässä hyödynnetään vain yhtä (virtuaalista) säiettä. 11 tai 23 lepää, miten se nyt menee.

[Snufkin]

Jos suunnittelet ohjelmoinnista itsellesi uraa, kannattaa tosiaan perehtyä säikeistämiseen. Jos aihetta ymmärtää, hommia riittää, ja jos osaat ratkaista säikeistyksen ongelmia, siitä myös maksetaan.

En tiedä vielä. Olen +50v alanvaihtaja ja aloin nyt syksyllä opiskelemaan tietotekniikkaa kokopäiväisesti. Tavoitteena aluksi kandin tutkinto ja sitten pohdinnan paikka mihin suuntaan. Python on ollut tuo aloituskieli ja se sujuu sinänsä hyvin. Raha ei niinkään kiinnosta (merkitykseesä huippuosaaja) vaan enemmänkin että voisi tehdä töitä mökiltä tai vaikka Espanjasta.  Jonkinlainen mielekkäisen kokonaisuuksien hallinta, pienten sovellusten kehitystyö, tms. En ihan tiedä mitä töitä on tarjolla.