videotoiston optimointi/ hd-editointi, miten koneesta parhaat tehot irti?

[SunDime]

Apua kaivataan täälläkin koneen optimoimisessa, luultavasti vastaukset auttaa pecu_83:a tulevaisuudessa.

Koneen kokoonpano on i7 920 @ 2,67, 6 gb, geforce gts250 1gb

Ongelma on, että kdenlive hidastelee jatkuvasti, eikä editointi ole kovin sujuvaa jota olettaisin tuolla paketilla olevan. Toisto luonnistuu ok, mutta heti kun käyttää osaa tehosteista, alkaa video tökkiä ja pahasti ja editoinnista tulee mahdotonta. Esim VLC:lla *.mts tiedostot toistuvat loistavasti.

Järjestelmän valvonnasta näkee että kuorma ei jakaudu tasaisesti (ainakin oletan tökkimisen johtuvan siitä)
Liitteenä pari kuvaa.

Omasta mielestä tuolla paketilla pitäisi editoinnin olevan sujuvaa, joten mikä mättää?

T:Teemu

[ylläpito on poistanut liitteen]

[nm]

Ongelma on, että kdenlive hidastelee jatkuvasti, eikä editointi ole kovin sujuvaa jota olettaisin tuolla paketilla olevan. Toisto luonnistuu ok, mutta heti kun käyttää osaa tehosteista, alkaa video tökkiä ja pahasti ja editoinnista tulee mahdotonta.

Kyseiset tehostesuotimet ovat nähtävästi raskaita ja säikeistämättömiä, jolloin pullonkaulana on yhden ytimen suorituskyky. Selvitä, mikä tehoste aiheuttaa ongelman ja kokeile, onko tehosteen asetuksilla vaikutusta kuormaan.

Tarkista myös prosessoriytimien kuorma ilman tehosteita. Jos yhden ytimen kuorma on jo silloin selvästi korkeammalla (yli 20 %), ongelmana lienee se, että dekoodaus ja kaikki suotimet toimivat yhdessä säikeessä.

[SunDime]

Testasin tehosteella Letterb0x, joka ei ole kummoinen, lisää nuo palkit. Toisto rupesi tökkimään todella pahasti.

Ilman tehosteita toisto oli sujuvaa, mutta prosessoreiden kuorma oli korkea.
Liitteenä kuvaruudunkaappaukset.



[ylläpito on poistanut liitteen]

[nm]

Ok, eli pelkkä dekoodaus kuormittaa yhden ytimen (tai HT-säikeen) täysin, ja toisto on vain juuri ja juuri sulavaa. Silloin kevyetkin efektit voivat nostaa kuorman liian korkeaksi.

Ongelmasi on siis sama kuin pecu_83:lla, eli Ubuntussa olevan libavcodec-version H.264-dekooderi on säikeistämätön, eikä Kdenlive/MLT-paketointi osaa käyttää näytönohjaimen rautapurkua. Tulevassa Ubuntu 11.10:ssä on säikeistetty H.264-dekooderi.

[SunDime]

Ok, eli pelkkä dekoodaus kuormittaa yhden ytimen (tai HT-säikeen) täysin, ja toisto on vain juuri ja juuri sulavaa. Silloin kevyetkin efektit voivat nostaa kuorman liian korkeaksi.

Ongelmasi on siis sama kuin pecu_83:lla, eli Ubuntussa olevan libavcodec-version H.264-dekooderi on säikeistämätön, eikä Kdenlive/MLT-paketointi osaa käyttää näytönohjaimen rautapurkua. Tulevassa Ubuntu 11.10:ssä on säikeistetty H.264-dekooderi.

Törmäsin tuohon tulokseen kdenliven forumia selatessa. Ainoa ratkaisu, ainakin toistaiseksi, on käyttää kdenliven proxy-tiedostoja, jotka ovat käytössä editoinnin aikana, mutta renderöinti tapahtuu alkup. tiedostoilla.
Toimii, mutta editoinnin aloitus kestää pitkään.

[RistoR]

Uuden koneen hankinta on edessä kun vanhoilla ei HD-videot ei oikein pyöri. Hyvä kuulla jos tuo säikeistys korjautuisi 11.10 versiossa. Sain alla olevan tarjouksen tutulta kauppiaalta koneesta ilman käyttöjärjestelmää ja näyttöä. Paan tähän jos haluatte kommentoida hintaa ja onko jotain turhaa. Verkkokortti, polattvaa asema ja kovalevyäkin minulla olisi ylimääräisenä mutta niiden hinta on vain kymppejä tuossa kokoonpanossa.

CAMP Maxima i7-2600.............925 €
-prosessori Intel i7 2600
-emolevy Intel DP67BGB3, piirisarja P67
-keskusmuisti 8 GB DDR3 1333MHz
-kiintolevy Seagate 1 TB 7200rpm SATA
-polttava DVD+-RW-asema
-muistikortinlukija
-gigabit verkkokortti RJ45
-näytönohjain Asus nVidia GT440 1 GB,
 Silent, VGA/DVI/HDMI
-Firewire-liitäntä, 2 x USB 3.0, 6 x USB 2.0
-tornikotelo, virtalähde Corsair 600W
-ei käyttöjärjestelmää

[I Svärd]

http://www.mikropasi.fi/hinnastot/pelirunko.pdf

[####¤¤¤¤####]

Täällä ei näköjään ole keskusteltu CUDA4 käytöstä.

"Näytönohjaimien tarjoamaa laskentatehoa ei voi kuitenkaan hyödyntää automaattisesti ohjelmissa, vaan ohjelmiin pitää lisätä erikseen ohjelmakoodia ja tuki sopivalle rajapinnalle, jonka kautta näytönohjaimien tarjoamaa laskentatehoa pääsee hyödyntämään. Nykyään rajapinnoista suosituin on NVIDIA:n CUDA, jota tuetaan virallisesti NVIDIA:n omissa näytönohjaimissa. "

Tuossa linkki jos on käytössä nvidian 8-sarjan tai uudempi näyttäkortti.
Ubuntu 10.10 >

http://samiux.blogspot.com/2011/05/howto-nvidia-cuda-40-rc-on-ubuntu-1104.html

Itselläni openshot selvästi parani.
Nopeutui huomattavasti ja kaatuminen loppui.
Kuva terävöittyi.

Itsellä nyt:
suoritin            intel core 2 quad q6600 2,4Ghz eli neliytininen.
näyttäkortti     8800 GT 500Mb vaihdan sen GeForce GTS 450-1Gt
Muisti               8Gbit

Tuo muisti selvästi ylimitoitettu ei ole tarvinnut yli 3,5Gbit koskaan vaikka .mts täys HD olen muunnellut.
(muunnan ne openshotissa .mp4 muotoon ja ääni ac3.)

Nyt kun laitoin tuon CUDA4 muistin käyttö tippui tuonne 1.5Gbittiin.

Eli kun uutta konetta ostelee tuoho näytönohjain merkkiin kannattaa kyllä huomio kiinnittää.
nVidiania kannattaa suosia saa pienemmälläkin kortilla täydet tehot.

[nm]

http://samiux.blogspot.com/2011/05/howto-nvidia-cuda-40-rc-on-ubuntu-1104.html

Itselläni openshot selvästi parani.
Nopeutui huomattavasti ja kaatuminen loppui.
Kuva terävöittyi.

OpenShot ja muut nykyiset Linuxin videoeditorit eivät osaa käyttää Cudaa mihinkään. Havaitsemasi parannukset johtuivat luultavasti Nvidian suljetun ajurin (paketti nvidia-current) asentamisesta.

[####¤¤¤¤####]

http://samiux.blogspot.com/2011/05/howto-nvidia-cuda-40-rc-on-ubuntu-1104.html

Itselläni openshot selvästi parani.
Nopeutui huomattavasti ja kaatuminen loppui.
Kuva terävöittyi.

OpenShot ja muut nykyiset Linuxin videoeditorit eivät osaa käyttää Cudaa mihinkään. Havaitsemasi parannukset johtuivat luultavasti Nvidian suljetun ajurin (paketti nvidia-current) asentamisesta.

No en tarkoittanut, että openshot olisi parantunut vaan, kun laitoin cudan kokonaisuus koneella parani niin paljon, että openshotin kaatuilut poistuivat.
Kone tuli paljon nopeammaksi ja muistin käyttö siirtyi näytönohjaimen muistiin.
Huomattava parannus kokonaisuudessa, koittakaa itse kellä mahdollista.
Nyt minulla toimii niin kuin pitäisi koneen toimia.

Minulla oli tuollainen koe viiden sekunnin pätkiä 220kpl siirsin koneelle suoraan kansiosta ja siinä kone oli polvillaan usean minuutin ajan.
Cudan jälkeen leikkeet menivät 1/3 ajassa sisään.
En osaa sanoa muuta kuin cuda parantaa huomattavan paljon muistin käyttöä.
Minulla itsellä koneessa ddr2 ja näytönohjaimessa gddr3.
Nyt kun näytönohjain tekee suurimman osan työstä se nopeutuu muistinkin nopeuden ansiosta.

[nm]

No en tarkoittanut, että openshot olisi parantunut vaan, kun laitoin cudan kokonaisuus koneella parani niin paljon, että openshotin kaatuilut poistuivat.

Cuda ei nopeuta mitään muutakaan käyttämääsi ohjelmaa, vaan parannus johtui Nvidian suljetun ajurin asentamisesta. Ilmeisesti sinulla oli aiemmin käytössä avoin nouveau-ajuri, jossa ei taida olla edes 3d-kiihdytystukea näytönohjaimellesi. Tosin nouveaun ei pitäisi toimia normaalissa työpöytäkäytössä juurikaan huonommin, eikä muistin käytössä pitäisi olla suurta eroa. Mutta ehkä törmäsit johonkin muistinvarausbugiin.

[####¤¤¤¤####]

No en tarkoittanut, että openshot olisi parantunut vaan, kun laitoin cudan kokonaisuus koneella parani niin paljon, että openshotin kaatuilut poistuivat.

Cuda ei nopeuta mitään muutakaan käyttämääsi ohjelmaa, vaan parannus johtui Nvidian suljetun ajurin asentamisesta. Ilmeisesti sinulla oli aiemmin käytössä avoin nouveau-ajuri, jossa ei taida olla edes 3d-kiihdytystukea näytönohjaimellesi. Tosin nouveaun ei pitäisi toimia normaalissa työpöytäkäytössä juurikaan huonommin, eikä muistin käytössä pitäisi olla suurta eroa. Mutta ehkä törmäsit johonkin muistinvarausbugiin.

"3D-ominaisuuksin varustettu suljettu grafiikka-ajuri NVIDIA-näytönohjaimille. Vaaditaan Unityn toimimista varten.
Tämä ajuri on vaadittu, jotta NVIDIA-näytönohjaimesi 3D-ominaisuudet voidaan hyödyntää täysin. Myös uudempien korttien 2D-ominaisuudet vaativat tätä ajuria."

Kyllä minulla on ollut nvidian tarjoama ajuri koko ajan käytössä.
Siis väitätkö, ettei cudan käyttö muuta grafiikan teon ominaisuuksia 
Mielestäni olet väärässä.
Cudahan ottaa nimen omaan grafiikkakortin cuda ominaisuudet laskennassa huomioon ja näin nopeuttaa prosessia.
En väitä että se parantaisi ohjelmia vaan laskentaa.

[nm]

Kyllä minulla on ollut nvidian tarjoama ajuri koko ajan käytössä.

No ehkä se sitten päivittyi uudempaan versioon samalla kun asensit Cudan.

Siis väitätkö, ettei cudan käyttö muuta grafiikan teon ominaisuuksia 
Mielestäni olet väärässä.
Cudahan ottaa nimen omaan grafiikkakortin cuda ominaisuudet laskennassa huomioon ja näin nopeuttaa prosessia.

Lainaanpa aiemmin lainaamasi pätkän:

"Näytönohjaimien tarjoamaa laskentatehoa ei voi kuitenkaan hyödyntää automaattisesti ohjelmissa, vaan ohjelmiin pitää lisätä erikseen ohjelmakoodia ja tuki sopivalle rajapinnalle, jonka kautta näytönohjaimien tarjoamaa laskentatehoa pääsee hyödyntämään."

Tämä pitää paikkansa, ja olen varma, ettei missään käyttämässäsi ohjelmassa ole tukea Cudalle tai OpenCL:lle. Ilman tukea ohjelmat eivät voi hyödyntää näytönohjaimen laskentakapasiteettia Cudan kautta. Cuda ei myöskään avusta X.org:n tai muiden järjestelmän osien toimintaa millään tavalla.

Olen varma, ettei järjestelmäsi toiminta muutu, jos nyt poistat Cudan.

[####¤¤¤¤####]

Kyllä minulla on ollut nvidian tarjoama ajuri koko ajan käytössä.

No ehkä se sitten päivittyi uudempaan versioon samalla kun asensit Cudan.

Siis väitätkö, ettei cudan käyttö muuta grafiikan teon ominaisuuksia 
Mielestäni olet väärässä.
Cudahan ottaa nimen omaan grafiikkakortin cuda ominaisuudet laskennassa huomioon ja näin nopeuttaa prosessia.

Lainaanpa aiemmin lainaamasi pätkän:

"Näytönohjaimien tarjoamaa laskentatehoa ei voi kuitenkaan hyödyntää automaattisesti ohjelmissa, vaan ohjelmiin pitää lisätä erikseen ohjelmakoodia ja tuki sopivalle rajapinnalle, jonka kautta näytönohjaimien tarjoamaa laskentatehoa pääsee hyödyntämään."

Tämä pitää paikkansa, ja olen varma, ettei missään käyttämässäsi ohjelmassa ole tukea Cudalle tai OpenCL:lle. Ilman tukea ohjelmat eivät voi hyödyntää näytönohjaimen laskentakapasiteettia Cudan kautta. Cuda ei myöskään avusta X.org:n tai muiden järjestelmän osien toimintaa millään tavalla.

Olen varma, ettei järjestelmäsi toiminta muutu, jos nyt poistat Cudan.

Periaatteessa MLT-pohjaiset Kdenlive ja OpenShot osaavat purkaa videota VDPAU:n avulla, olisiko tämä se syy miksi tuli huomattavaa paranemista.

[nm]

Periaatteessa MLT-pohjaiset Kdenlive ja OpenShot osaavat purkaa videota VDPAU:n avulla, olisiko tämä se syy miksi tuli huomattavaa paranemista.

VDPAU asentuu Ubuntussa nykyisin oletuksena, eikä riipu lainkaan Cudasta. Kokeilemani Ubuntun MLT-paketoinnit eivät ole myöskään sisältäneet VDPAU-tukea, eli ohjelmia pitäisi kääntää itse sitä varten.

[####¤¤¤¤####]

Periaatteessa MLT-pohjaiset Kdenlive ja OpenShot osaavat purkaa videota VDPAU:n avulla, olisiko tämä se syy miksi tuli huomattavaa paranemista.

VDPAU asentuu Ubuntussa nykyisin oletuksena, eikä riipu lainkaan Cudasta. Kokeilemani Ubuntun MLT-paketoinnit eivät ole myöskään sisältäneet VDPAU-tukea, eli ohjelmia pitäisi kääntää itse sitä varten.

http://samiux.blogspot.com/2011/05/howto-nvidia-cuda-40-rc-on-ubuntu-1104.html
Tein sen tuolla.

[####¤¤¤¤####]

Tuo sun 8800GT rupeaa pöhisemään kuten raskaissa 3D-peleissä jos GPU:lla lasketaan jotain. Myös GPU:n lämpötila nousee huomattavasti kun sitä kuormitetaan, refenssijäähyllä jonnekki 80-90C väliin. Nvidia-settingsin "thermal"-kohdasta voi tuota seurata tai laittamalla lm-sensors iskuun.

Itellä on myös nvidia ja cuda-toolkitit asennettuna. Kumpikaan noista MLT-pohjaisista editoreista ei käytä cudaa mihinkään. Käyttäisikin niin sais tuon transistorimonsterin hyötykäyttöön.

Tietääkö muuten nm jotain encoderia linuxiin joka tukisi cudaa? Voisi testailla mutta näin laiskamatona KVG ei ole mieluinen vaihtoehto.

Tuo ei tuekkaan ohjelmaa vaan rautaa.
Miten muuten voi olla, että kaikki neljä ydintä toimii nyt yhteistyössä,
kun ennen yksi huiteli 100% muut jossain 30%.

Ennen : http://aijaa.com/v.php?i=007768524300.png
Nyt  :    http://aijaa.com/v.php?i=006728524291.png

[####¤¤¤¤####]

Tuo sun 8800GT rupeaa pöhisemään kuten raskaissa 3D-peleissä jos GPU:lla lasketaan jotain. Myös GPU:n lämpötila nousee huomattavasti kun sitä kuormitetaan, refenssijäähyllä jonnekki 80-90C väliin. Nvidia-settingsin "thermal"-kohdasta voi tuota seurata tai laittamalla lm-sensors iskuun.

Itellä on myös nvidia ja cuda-toolkitit asennettuna. Kumpikaan noista MLT-pohjaisista editoreista ei käytä cudaa mihinkään. Käyttäisikin niin sais tuon transistorimonsterin hyötykäyttöön.

Tietääkö muuten nm jotain encoderia linuxiin joka tukisi cudaa? Voisi testailla mutta näin laiskamatona KVG ei ole mieluinen vaihtoehto.

Tuo ei tuekkaan ohjelmaa vaan rautaa.
Miten muuten voi olla, että kaikki neljä ydintä toimii nyt yhteistyössä,
kun ennen yksi huiteli 100% muut jossain 30%.

Ennen : http://aijaa.com/v.php?i=007768524300.png
Nyt  :    http://aijaa.com/v.php?i=006728524291.png

Tämä menee mielenkiintoiseksi nyt näyttää siltä että MLT tukee VDPAU:ta ja tämän kautta osaa tukea cudaa.
Googletin tuollaisen kysymys vastauksen 2009 : http://translate.google.fi/translate?hl=fi&sl=en&tl=fi&u=http%3A%2F%2Fwww.openshotvideo.com%2F2009%2F07%2Favchd-h264-aac-and-mts-supported.html&anno=2

Jonathan Thomas
July 8, 2009 12:59 PM

Anders, thanks for the comment! I will look into fixing the build wizard to work with the unstripped FFmpeg libraries. I didn't realize that would break. By the way, some of the "dev" packages required to install MLT, have dependencies for other apps, like VLC and Kino. That's why they show up after running the build wizard. This won't happen once I'm able to package up OpenShot.

The icons are themeable, and should be fairly easy to change. I opted for custom icons because Tango didn't have half the icons I needed. I didn't want to have a standard "play" button, and then a round "seek next marker" button, etc...

As far as VDPAU goes, if MLT supports it, OpenShot supports it. So this would depend on MLT.

I have setup the infrastructure to support translations in OpenShot with PO files, etc... I have used POEdit for my testing. However, I have never used LaunchPad for translations. I use LaunchPad for everything else, so I just assumed it would work good. If LaunchPad does suck at translations, I won't hesitate to fall back to just editing PO files.

Thanks again for the feedback!

Ja nyt viime syksynä : http://translate.google.fi/translate?hl=fi&sl=en&tl=fi&u=http%3A%2F%2Fwww.openshotvideo.com%2F&anno=2

Thank You:
As always, this release stands on the shoulders of so many great projects, such as Python , MLT , Blender , Inkscape , and all of the other libraries we depend on. So, a big " Thank You " to all these projects. And also, I want to thank all of the amazing contributors that help me on a daily basis. This release would not have happened without you and your support!

Vai olenko käsittänyt väärin (paljon mahdollista) 

[nm]

Tuo ei tuekkaan ohjelmaa vaan rautaa.

Mutta ohjelmien täytyy tukea Cudaa, jotta se tekisi mitään raudalla.

Miten muuten voi olla, että kaikki neljä ydintä toimii nyt yhteistyössä,
kun ennen yksi huiteli 100% muut jossain 30%.

Ennen : http://aijaa.com/v.php?i=007768524300.png
Nyt  :    http://aijaa.com/v.php?i=006728524291.png

"Ennen"-kuvassa pakkaat videota FFmpegin MPEG-4 ASP -enkooderilla. Sitä ei ole säikeistetty kovin hyvin, joten vain yksi ydin kuormittuu kunnolla. "Nyt"-kuvasta ei käy ilmi, teetkö samoilla parametreilla asetettua pakkausoperaatiota vai jotain ihan muuta.

Tämä menee mielenkiintoiseksi nyt näyttää siltä että MLT tukee VDPAU:ta ja tämän kautta osaa tukea cudaa.

Lainaamasi viestit eivät ota mitään kantaa MLT:n VDPAU-tukeen, vaan toteavat että OpenShot tukee VDPAU:ta jos ja vain jos MLT tukee sitä. Mutta kuten sanoin aiemmin, MLT on kyllä tukenut jo pitkään VDPAU:ta, mutta ei Cudaa edes VDPAU:n kautta. VDPAU:n ja Cudan välillä ei ole mitään keskinäistä riippuvuutta.

Toistan myös, että kokeilemani Ubuntuun saatavat MLT-paketoinnit (Ubuntun virallinen ja PPA:t) eivät sisällä VDPAU-tukea. MLT pitäisi konfiguroida --avformat-vdpau -vivulla VDPAU:n headerien läsnäollessa, jotta rautapurkutuki tulisi mukaan.

[nm]

Tietääkö muuten nm jotain encoderia linuxiin joka tukisi cudaa?

Ei ole ainkaan vielä saatavilla. Eipä niistä Cuda-enkoodereista ole Windowsissakaan juuri käytännön hyötyä, kun hyvät softaenkooderit ovat nopeampia samalla laadulla ja vastaavan tasoisella raudalla. Toki yksittäisissä tapauksissa voisi olla mielekästä pakata videota näytönohjaimella, jos vaikka prosessori on vanha ja hidas ja näytönohjain huippunopea.

Cudasta olisi eniten hyötyä sellaisissa videosuotimissa, jotka eivät tarvitse liikekompensointia.