Yle Areenan ohjelmien tallentaminen tietokoneelle

[aoa]

Hmm. Asennuksessa (make) heittää tollasta virhettä, mikä vikana? Näyttää olevan areena pois käytöstä nyt.

Koodia: [Valitse]

mattu@mattu-laptop:~/Työpöytä/rtmpdump-yle-1.0$ sudo make
g++ -Wall   -c -o rtmp.o rtmp.cpp
In file included from rtmp.h:43,
                 from rtmp.cpp:36:
dh.h:21:24: error: openssl/bn.h: Tiedostoa tai hakemistoa ei ole
dh.h:22:24: error: openssl/dh.h: Tiedostoa tai hakemistoa ei ole
dh.h:24:25: error: openssl/sha.h: Tiedostoa tai hakemistoa ei ole
dh.h:25:26: error: openssl/hmac.h: Tiedostoa tai hakemistoa ei ole
dh.h:26:25: error: openssl/rc4.h: Tiedostoa tai hakemistoa ei ole


Puuttuvat kirjastot löytyvät libssl-dev paketista.

Kääntämiseen ei muuten tarvitse rootin oikeuksia. Vasta asentaminen (make install) täytyy tehdä sudolla.

[beh]

Tein rtmpdump-ohjelmasta version, joka osaa imuroida videoita uudesta Areenasta. Ohjelma on saatavilla täältä: http://users.tkk.fi/~aajanki/rtmpdump-yle/index.html.

Kääntämisen (configure; make; make install) jälkeen yle-dl skriptille annetaan ladattavan ohjelman webbi-sivun osoite. Esimerkiksi uutiset saa ladattu komentamalla

yle-dl http://areena.yle.fi/video/261405

Kuten ketjussa jo aikaisemmin todettiin Areenan videoihin ei löydy suoraa osoitetta nettisivulta vaan se pitää erikseen hakea palvelimelta. Lisäksi imurointiohjelman tai mediasoittimen pitää osata vastata oikein palvelimen lähettämään autentikointipyyntöön tai muuten palvelin ei suostu lähettämään videotiedostoa.

Kiitoksia. Toimi ihan sujuvan oloisesti. Harmi kyllä radio-ohjelmien äänet nopean testauksen perusteella  eivät tallentuneet oikein.

Oletko varma tuon ohjelman laillisuudesta? Kannattaako sitä jakaa noin avoimesti, saat vielä Adoben lakimiehet perääsi. Onko YLE:n lähetys salattua muotoa vai miksi valitsit rtmpdumpin laillisen flvstreamerin sijaan?

Mutta kaiken kaikkiaan, hienon työn olet tehnyt!

[Matu]

Kiitos aoa! Hyvin näytti ohjelma toimivan.

[Smi]

Ensiksi ohjelma päälle, sitten selain auki ja video pyörimään. Ohjelma alkaa automaattisesti lataamaan videota. Trial-versiolla kokeilin.

Ei tuo nyt kyllä toimi, lataus ei ala millään keinolla uudelleen asennuksenkaan jälkeen.

[Matu]

Ei tuo nyt kyllä toimi, lataus ei ala millään keinolla uudelleen asennuksenkaan jälkeen.

Enpä osaa sen enempään auttaa. Itsellä ohjelma lähit heti toimimaan.

[nm]

Tein rtmpdump-ohjelmasta version, joka osaa imuroida videoita uudesta Areenasta. Ohjelma on saatavilla täältä: http://users.tkk.fi/~aajanki/rtmpdump-yle/index.html.

Suurkiitos Antille vaivannäöstä! Olisi tainnut jäädä itseltä tuo lisäautentikointi selvittämättä, vaikka meinasin jo ryhtyä ihmettelemään soittimen tavukoodia.

Kiitoksia. Toimi ihan sujuvan oloisesti. Harmi kyllä radio-ohjelmien äänet nopean testauksen perusteella  eivät tallentuneet oikein.

Täällä toimivat kyllä radiotallenteetkin. Ongelmana on tosin se, että haetut tiedostot ovat oikeasti FLV-muotoisia, vaikka ohjelma nimeää ne automaattisesti URL:n mukaisilla .mp3- ja .mp4-päätteillä. Siis koodia pitäisi nähtävästi muuttaa niin että videotiedostojen nimiin lisätään .mp4:n sijaan .flv-pääte ja audiotiedostoihin .flv tai .fla.

Ehkä ohjelmaan voisi lisätä mahdollisuuden muuntaa FLV-audiotiedosto musiikkisoittimien paremmin tukemaksi MP3-tiedostoksi, mutta tämä hoituu kyllä myös erillisillä työkaluilla:

Koodia: [Valitse]

ffmpeg -i tallenne.fla -acodec copy tallenne.mp3

[ajaaskel]

Hyvä Antti ja kiitos !   Käänsin tavarat ja download lähti käyntiin ekalla yrityksellä.  Yllämainittu lisäautentikointi, arvasin tuon aika pitkälle ( ..."monivaiheinen"... edellisessä viestissäni) mutta hienoa että teit homman valmiiksi, omat ohjelmointivalmiuteni ovat siinä määrin ruostuneet vaikka tukipuoli onkin jollain lailla hallussa... 

PS:  Jos käytät asennusvaiheessa "checkinstall" ohjelmaa tuon "make install" tilalla niin saat kaksi hyvää asiaa:  1) Näkyy Synaptic pakettienhallinnassa  2) Tekee .deb paketin samalla !
PSS:  Tässä 64 bittinen .deb paketti jonka checkinstall teki koneellani, ehkä voit asentaa suoraan siitä (jos amd64):
http://www.homelinuxpc.com/download/rtmpdump-yle_20090614-0_amd64.deb

[Smi]

Ei tuo nyt kyllä toimi, lataus ei ala millään keinolla uudelleen asennuksenkaan jälkeen.

Enpä osaa sen enempään auttaa. Itsellä ohjelma lähit heti toimimaan.

No, ei voi mitään. Jostain kumman syystä tuo ei nyt sitten toimi.

Kiitoksia kuitenkin avusta!

[mulvila]

Tein rtmpdump-ohjelmasta version, joka osaa imuroida videoita uudesta Areenasta. Ohjelma on saatavilla täältä: http://users.tkk.fi/~aajanki/rtmpdump-yle/index.html.

Ohjelma asentui kivasti, teki töitä ja tallensi jotain, mutta lopputulosta ei voi soittaa.

VLC:n virheilmoitus:

Koodia: [Valitse]

[flv @ 0xb7f38110]Unsupported video codec (7)
[00000357] main decoder error: no suitable decoder module for fourcc `undf'.
VLC probably does not support this sound or video format.

Mikä neuvoksi? Käytössä Hardy 2.6.24-24-generic

Firefoxilla Areenan ohjelma näkyy OK.

[nm]

VLC:n virheilmoitus:

Koodia: [Valitse]

[flv @ 0xb7f38110]Unsupported video codec (7)
[00000357] main decoder error: no suitable decoder module for fourcc `undf'.
VLC probably does not support this sound or video format.


Virheilmoituksen perusteella käyttämäsi VLC-versio ei osaa lukea H.264-videota sisältäviä FLV-tiedostoja oikein. Ongelma voi johtua myös liian vanhoista FFmpeg-kirjastoista (libavcodec ja libavformat). Kokeilin VLC 0.9.9:ää Debianissa ja sillä sekä Areenan video- että audiotiedostot kyllä toistuivat ongelmitta.

Jos Hardyn päivittäminen uudempaan Ubuntuun ei ole vaihtoehto, joutunet kääntämään nuo roinat itse. Ainakin MPlayerin saa käännettyä kätevästi SVN:stä uusilla, staattisesti linkitetyillä libav*-kirjastoilla.

Firefoxilla Areenan ohjelma näkyy OK.

Adoben Flash-pluginissa on sisäänrakennettuna kaikki tarvittavat demuxerit ja dekooderit. Pluginia voi periaatteessa käyttää paikallisten mediatiedostojen toistamiseen, mutta se edellyttänee aika paljon näpräämistä.

[beh]

Kiitoksia. Toimi ihan sujuvan oloisesti. Harmi kyllä radio-ohjelmien äänet nopean testauksen perusteella  eivät tallentuneet oikein.

Täällä toimivat kyllä radiotallenteetkin. Ongelmana on tosin se, että haetut tiedostot ovat oikeasti FLV-muotoisia, vaikka ohjelma nimeää ne automaattisesti URL:n mukaisilla .mp3- ja .mp4-päätteillä. Siis koodia pitäisi nähtävästi muuttaa niin että videotiedostojen nimiin lisätään .mp4:n sijaan .flv-pääte ja audiotiedostoihin .flv tai .fla.

Ehkä ohjelmaan voisi lisätä mahdollisuuden muuntaa FLV-audiotiedosto musiikkisoittimien paremmin tukemaksi MP3-tiedostoksi, mutta tämä hoituu kyllä myös erillisillä työkaluilla:

Koodia: [Valitse]

ffmpeg -i tallenne.fla -acodec copy tallenne.mp3

Kiitos, tuo  audion kopionti selvitti ongelman. Siis jos ymmärsin oikein, niin mp3:n soitto fla "säiliön" (container) sisältä aiheutti toistoongelmat.

[ajaaskel]

Nyt on kokeiltu myös i386 Jaunty: ssä Antin RTMPDump-YLE, toimii mainiosti.  Tässä asennukseni sivutuotteena syntynyt Jaunty: n i386 .deb paketti, ei mitään takuita mutta voihan tätä kokeilla jos ei halua itse kääntää Antin pakettia lähdekoodista:

32 bit Jaunty:
http://www.homelinuxpc.com/download/rtmpdump-yle_20090614-0_i386.deb

64 bit Jaunty:
http://www.homelinuxpc.com/download/rtmpdump-yle_20090614-0_amd64.deb


Edit:  Laitoin ylle sekä 32 että 64 bittisen Jauntyn .deb paketit tänne, syntyivät oman asennukseni "sivutuotteena", asentuvat klikkaamalla Jauntyyn, ei takuita mutta toimivat omissa koneissani... 

[marvinmarvin]

Serranon perheen tallennus ei onnistu. Missähän lie vika?
Yritin komennolla yle-dl http://areena.yle.fi/video/251980 -o ~/Desktop/serrano_128.flv
Tällasta se herjaa:

Koodia: [Valitse]

DEBUG: ExecuteInvokedMethod, server invoking <rpcResult>
DEBUG: Got broadcastDateTime: 2009-06-10T18:30:00
DEBUG: Got seriesTitle: Serranon perhe
DEBUG: UrlToPlaypath: rtmp://akastreaming.yle.fi/vp/fiyle/fi/fiyle_ondemand.xml?gjmf=mp4:flash_fi/areena2/25/19/251981_202188.mp4 -> mp4:fiyle/fi/fiyle_ondemand.xml?gjmf=mp4:flash_fi/areena2/25/19/251981_202188.mp4
DEBUG: Updated playpath: mp4:fiyle/fi/fiyle_ondemand.xml?gjmf=mp4:flash_fi/areena2/25/19/251981_202188.mp4
DEBUG: GetNextMediaPacket, received: invoke 29 bytes
DEBUG: Property: <Name:                  no-name., STRING: _result>
DEBUG: Property: <Name:                  no-name., NUMBER: 2.00>
DEBUG: Property: NULL
DEBUG: Property: <Name:                  no-name., NUMBER: 1.00>
DEBUG: ExecuteInvokedMethod, server invoking <_result>
DEBUG: ExecuteInvokedMethod, server invoking <_result>
DEBUG: ExecuteInvokedMethod, received result for method call <createStream>
DEBUG: SendPlay, sending play: mp4:fiyle/fi/fiyle_ondemand.xml?gjmf=mp4:flash_fi/areena2/25/19/251981_202188.mp4
DEBUG: sending ping. type: 0x0003
DEBUG: HandlePing, received ping. type: 0, len: 6
DEBUG: GetNextMediaPacket, received: invoke 165 bytes
DEBUG: Property: <Name:                  no-name., STRING: onStatus>
DEBUG: Property: <Name:                  no-name., NUMBER: 0.00>
DEBUG: Property: NULL
DEBUG: Property: <Name:                  no-name., OBJECT>
DEBUG: Property: <Name:                     level, STRING: error>
DEBUG: Property: <Name:                      code, STRING: NetStream.Play.Failed>
DEBUG: Property: <Name:               description, STRING: Read access denied for stream fiyle/fi/fiyle_ondemand.xml.>
DEBUG: Property: <Name:                  clientid, STRING: SzkgFgg3>
DEBUG: ExecuteInvokedMethod, server invoking <onStatus>
DEBUG: ExecuteInvokedMethod, server invoking <onStatus>
DEBUG: ExecuteInvokedMethod, onStatus: NetStream.Play.Failed
Closing connection... done!

Serranon toinen jakso tallentui, joskin keskeytyi 77.7%:n kohdalla. Latausta sai kuitenkin jatkettua. Ajoin ao. komennot:
yle-dl http://areena.yle.fi/video/245903 -o ~/Desktop/serrano_127
yle-dl http://areena.yle.fi/video/245903 -o ~/Desktop/serrano_127 --resume

[ajaaskel]

Kokeilin myös täällä, sama tulos tuolla Serranolla. Jotkut kokeilemani lastenohjelmat (Muumit, Lauran tähti) tallettuvat sen sijaan hyvin.  Tarvitaan varmaankin Antin apua...?

[beh]

http://areena.yle.fi/video/262818 tämä myös keskeytyi 80% tuntumassa. Ongelma kaiketi esiintyy vain pitemmissä pätkissä.
tulostus:

Koodia: [Valitse]

DEBUG: ExecuteInvokedMethod, onStatus: NetStream.Play.Reset
DEBUG: HandlePing, received ping. type: 6, len: 6
DEBUG: sending ping. type: 0x0007
DEBUG: HandlePing, received ping. type: 6, len: 6
DEBUG: sending ping. type: 0x0007
DEBUG: HandlePing, received ping. type: 6, len: 6
DEBUG: sending ping. type: 0x0007
ERROR: ReadN, RTMP recv error 11
ERROR: ReadPacket, failed to read RTMP packet header
WARNING: Download may be incomplete (downloaded about 85.6%), try --resume!
Closing connection... done!

DEBUG: nStatus = 2
Stream saved to Provinssirock 2009 YleX Areenan lähetys-.mp4

e. siis latauksen keskeytymisen jälkeen lähetti muutomaan otteeseen tuota pingiä ja luovutti sitten.

[aoa]

Julkaisin uuden version, joka antaa kaikille ladatuille tiedostoille .flv päätteen. Nyt radio-ohjelmat toimivat ainakin minulla VLC:ssä, mplayer osaa soittaa ne myös .mp3 päätteellä. Tosin kelaus ei näytä toimivan kummassakaan soittimessa.

Tuo toimimaton Serranon perhe tulee Akamain palvelimelta eikä Ylen omalta palvelimelta. Ilmeisesti Akamain palvelinten kanssa vaaditaan vielä jotain ylimääräisiä askelia. Yritän selvitellä tätä, mutta siinä voi mennä jonkun aikaa.

Mullakin on pari kertaa imurointi keskeytynyt. Toistaiseksi minulla ei ole mitään ideaa mikä sen aiheuttaa, mutta keskeytyneitä latauksia voi jatkaa --resume-vivulla.

[marvinmarvin]

Kiitoksia jo etukäteen
Tuo sovellus on kertakaikkiaan aivan loistava. Jos saat akamain serverit vielä tottelemaan, niin sittenhän tuo on täydellinen.

Sillä välin löysin windows-mallisen väliaikaisratkaisun, jolla ainakin tuon ko. serranojakson voi imuroida.
Onnistuu XP:llä asentamalla tämä:

http://applian.com/replay-media-catcher/demo.php

Ja sitten esimerkin vuoksi tälleesti:

Record --> Start Recording
Surffataan areenalle haluttuun streamiin (esim. Serrano)  : http://areena.yle.fi/video/251980
Aletaan toistamaan streamia.
Heti kun media catcher alkaa tallentamaan, voidaan taustalla oleva streamaus pysäyttää, ja sovellus jatkaa tallentamista itsekseen.

Ei siis tarvitse katsoa streamia samaan aikaan kun sitä tallentaa. Tämä on mielestäni plussaa.
Tuo media-catcher on siitä hieman huono, että ensinnäkin se on tietysti kirottu windows-sovellus,
plus että tallentaminen kestää yhtä kauan kuin ko. jakso kestää reaaliajassa katsottuna.


Antin virittelemä rtmpdump on vähintään sen miljoona kertaa parempi, vaikkei kyseistä jaksoa sillä saanutkaan imuroitua. 
Keep up the good work yms. taustakannustusta

[ajaaskel]

Tässä asennukseni sivutotteena syntyneet .deb paketit RTMPDump-YLE versiosta 1.01.  Asentuvat klikkaamalla ja saa poistettua Synaptic: in kautta.  Nimiehdotus ohjelmalle:  YLE-DL olisi helpompi muistaa kun sitä myöskin käytetään varsinaisena komentona komentorivillä.

Jaunty 32 bit (i386):
http://www.homelinuxpc.com/download/rtmpdump-yle_20090615-0_i386.deb

Jaunty 64 bit (amd64):
http://www.homelinuxpc.com/download/rtmpdump-yle_20090615-0_amd64.deb

[Smi]

Sillä välin löysin windows-mallisen väliaikaisratkaisun, jolla ainakin tuon ko. serranojakson voi imuroida.
Onnistuu XP:llä asentamalla tämä:

http://applian.com/replay-media-catcher/demo.php

Onkohan tuolle missään kokoversiota (ilmaista...), kun tuolla voi ladata vain 75%? Ja jostain syystä en pysty lataamaan kaikkea areenasta. Pelkästään pystyisin lataamaan tuon linkkaamasi serrano-jakson (75%), mutta mikään muu ei täkllä hetkellä ainakaan lataudu.

[marvinmarvin]

Katos vaan. Kirottu demoversio 

Ilmaista kokoversiota ei varmaankaan ole tarjolla (ainakaan laillisia).