Yle Areenan ohjelmien tallentaminen tietokoneelle

[2-mieli-FI-poliisi]

Sori on ollut vähän muita kiireitä viimeaikoina.

Edellisessä viestissäni tarkoitin juurikin tuota tiedon hautautumista ketjun syövereihin. Itseasiassa etsin silloin ruutu.fi videoiden latauskomentoa, joka on muuten nykyisin
rtmpdump -r rtmp://streamh1.nelonen.fi/hot/mp4:333333.mp4 -o kirjoita_nimi.flv (aiemmin alku oli rtmpdump-yle...?)
Latauksissa on ilmenennyt aiempaa enemmän erroreita, joiden syystä minulla ei ole hajuakaan.

Ajaaskel voisi myös ihan pirruuttaan testata gPodder ohjelmaa. Sillä saa suoran streamauksen lisäksi halutessaan automatisoidusti ladattua areenan radio podcastit omalle koneelle ja kuuntelun jälkeen fileet poistuvat omia aikojaan kovolta. Muutoinkin likipitäen täydellisesti säädettävissä oleva podcastien hallintaohjelma.

Syy miksi usutan sinua ohjelman kimppuun on, että podcastit latautuvat kunkin ohjelman nimiseen kansioon, mutta jaksojen nimet jäävät muotoon perunajauhonumero.mp3. Jos lataan esim. kuunnelmasarjan jaksoja niin nämä numerosarjat eivät asetu edes jaksonumerointia vastaavaan järjestykseen.

Ajaaskel kun tietää ilmeisen hyvin miten areenan palvelimilta tongitaan tietoa niin voisit omaan tahtiisi tarkistaa saatko tietämykselläsi tehtyä scrptin gPodderiin, jolla jakson nimeksi saisi esim. pvm_jakson_nimi/aihe.mp3.
Yle kun ei osaa hyödyntää tageja tyyliin: Albumi-Yle Areena, Esittäjä-Eve Mantu, Kappale-2012.05.29 Mokaamisen pelko, jne. Outoa puusilmäilyä suurelta mediatalolta, joka voisi omien osaajiensa puitteissakin ohjelmoida audion tagityksen automaattiseksi prerelease toiminnoksi.

Villi havainto uuden yle-dl:n lataamien teksitysten tiimoilta: Ylelle käännetään win ohjelmistoilla, koska käytössä on fontteja joissa erikoismerkit kuten; - (=pidennetty muoto), ... (=typistetty muoto) yms. eivät näy toisto-ohjelmissa aina oikein. Tiiviimmäksi skaalautuva fontti esim. html käyttöönkin on käynyt mielessä, mutta sen välityssuhteista lisää ehkä joskus paremmalla ajalla.

Kehittelijöitäkin voisin kiitellä, mutta hyödynnän lopputuotoksia siinä määrin, että se tuntuisi jopa puolueelliselta. (virn)

[2-mieli-FI-poliisi]

PS.
Ilmeisesti on niin, että Ylen lakisääteinen tiedottamisvelvollisuus ei ulotu verkkosaatavuuden puolella parhaisiin ja kaikkien saatavimmilla oleviin jakelutapoihin asti! Omista veroeuroistani soisin jopa kymmenyksiä vuodessa "Ubuntu Suomen" tilille, ihan lakisääteisten velvoitteiden ylläpitämiseksi. FinRemixiin sisällytettynä tiedotusvelvollisuus on täytettävissä, jopa yli äyräidensä, aina yleishyödyllisen sivistyksen puolelle.

Tämänkin ajatuksen suurin ongelma on, että villillä mielikuvituksellanikaan en keksi kyllin suurta halkoa, jolla löisin Yleä päähän! Heillä on avaimet käsissään tehdä asiat myös toisin. Kylmä sota on ohitse ja miksi ei käytettäisi "vapaan julkaisun" mahdollisuutta jopa kilpailuetuna?

Anteeksi. Taisin taas nielaista rautakangen kokonaisena!

[Kiitollinen käyttäjä]

Ajaaskel voisi myös ihan pirruuttaan testata gPodder ohjelmaa. Sillä saa suoran streamauksen lisäksi halutessaan automatisoidusti ladattua areenan radio podcastit omalle koneelle ja kuuntelun jälkeen fileet poistuvat omia aikojaan kovolta. Muutoinkin likipitäen täydellisesti säädettävissä oleva podcastien hallintaohjelma.

Syy miksi usutan sinua ohjelman kimppuun on, että podcastit latautuvat kunkin ohjelman nimiseen kansioon, mutta jaksojen nimet jäävät muotoon perunajauhonumero.mp3. Jos lataan esim. kuunnelmasarjan jaksoja niin nämä numerosarjat eivät asetu edes jaksonumerointia vastaavaan järjestykseen.

Ajaaskel kun tietää ilmeisen hyvin miten areenan palvelimilta tongitaan tietoa niin voisit omaan tahtiisi tarkistaa saatko tietämykselläsi tehtyä scrptin gPodderiin, jolla jakson nimeksi saisi esim. pvm_jakson_nimi/aihe.mp3.

Taitaa mennä vähän aiheen ohi, mutta vastataan silti.

Itse kierrän ongelman synkronoimalla ladatut jaksot laitteelle. Laite vain on tässä tapauksessa hakemisto kiintolevyllä. Hakemiston voi asettaa gPodderin asetuksissa.

Tiedostonimiin tepsii seuraava:

Tiedosto (ainakin Debianissa polku on tämä):

Koodia: [Valitse]

~/.config/gpodder/gpodder.conf
sinne:

Koodia: [Valitse]

custom_sync_name = {episode.published}_{episode.pubtime}_{podcast.title}_{episode.title}
Oletuksena siellä varmaan on jotakin vastaavaa.

Sama asetus viilattavissa myös käyttöliittymän kautta. gPodder 2.7:ssä: Podcastit -> Ominaisuudet -> Muokkaa asetuksia.

Lisätietoa asetuksista tuolla.

Näillä varmaan myös saisi jotain aikaan ilman jaksojen synkronointia laitteelle:

Koodia: [Valitse]

cmd_all_downloads_complete
cmd_download_complete

Kovin kauniitahan ne tiedostonimet eivät näittenkään nätistelyjen jälkeen ole. Vaatii siis oman pikkuskriptin, jos vielä haluaa siistiä. Oma "pikkuskriptini" vaan sen verran karmea, etten ainakaan vielä ilkeä laittaa sitä jakoon.

[Kunnari]

YLE Areenan huoltokatkon jalkeen, windows yle-DL-Gui ei toimi. (paitsi audio serveri)

Pikainen wiresharkaus, adobe flashilla kayttaa nyt RTMPE.
yle-rtmpdump rtmpserveri lopettaa

Connecting ...
INFO: Connected...
ERROR: rtmp server sent error
ERROR: rtmp server requested close

yrittaa
rtmp://flashk.yle.fi:1935/mediakanta/

vastaus
_error?levelerrorcodeNetConnection.Connect.Rejecteddescription^[ Server.Reject ] : (_defaultRoot_, _defaultVHost_) : Application (mediakanta) is not defined.   

Siis Application (mediakanta) is not defined.
// myohemmin -  nahtavasti yrittaa tallaista, Dospromptilla

yle-dl --rtmpdump .\ --sublang all --showurl --destdir ..\ http://areena.yle.fi/tv/1520999 >a.txt

antaa a.txt

rtmp://flashk.yle.fi/mediakanta//x
swfUrl=http://areena-beta.yle.fi/static/player/1.1/flowplayer/flowplayer.cluster-3.2.3.swf
tcUrl=rtmp://flashk.yle.fi/mediakanta/
pageUrl=http://areena.yle.fi/tv/1520999 yle=6d8712d5e0104aabbff2a27e6105bfa1

// vielä myöhemmin

Nähtävästi sama ongelma Ubuntulla ja yle-dl 1.99.7 sekä rtmpdump 2.4+lla

Olin huomaavinani että YLE areena oli huoltokatkoksessa pari päivää sitten.
Taasko uusia adobe kikkoja??


***** KIITOS, HOIDETTU 1.99.8 versiossa ************

Myoskin windows gui versio 2.1, kiitos
http://mpartel.github.com/yle-downloader-gui/

[hillo]

Hieno homma, että on jo korjattu. Entä tuo Acex:n kyselemä --episodes ? Voisko sen saada takaisin?

[Daneli]

Näyttää toimivan taas. http://www.homelinuxpc.com/download/index.php/?C=M;O=D

[salai]

Mistähän tuo johtuu:

Koodia: [Valitse]

yle-dl --vfat http://areena.yle.fi/tv/1466083
Traceback (most recent call last):
  File "/usr/local/bin/yle-dl", line 31, in <module>
    from Crypto.Cipher import AES
ImportError: No module named Crypto.Cipher

EDIT: asensin toisessa koneessa paketin:
python-crypto (2.4.1-1)
ja rupesi lataamaan.
Tosin tuo edellä mainittu osa Hyacinthia ehti jo poistua Areenasta.

[ajaaskel]

Voin lisätä tuon pakettien riippuvuuksiin.  Olit ensimmäinen joka on törmännyt tuohon, ilmeisesti muilla tuo "python-crypto" on tullut koneeseen jo aiemmin muuta tietä.

[salai]

Se puuttui kai LXDE-distroista Lubuntu 12.04 ja Peppermint Two (perustuu Ubuntu 11.04).

[ajaaskel]

Hyvä tietää, kiitos.  Kasasin paketit uudestaan ja laitoin tuon "python-crypto": n riippuvuudeksi mukaan. Paketit ovat jo valmiina ja linkit päivitetty.

[Acex]

Vanhassa Areenassa (ja vanhalla versiolla) onnistui jonkun sarjan sivulta nappaamaan kaikki jaksot vivulla --episodes. Nyt kun yrittää ottaa tällaiselta sivulta lataukseen niin saa vaan vastauksen "Can't find clip parameters".

Noniin, nythän tuo toimii, eikä tarvitse heittää edes episodes -parametriä. Kiitettävän nopeaa toimintaa!

Nyt kaipailisin turhien latailujen estämiseksi vipua, jotta ei tehdä -1.flv jne.. tiedostoja jos saman niminen on jo olemassa. Toki nuo nyt on helppo heittää skriptillä roskiin, mutta turha ladata kuutta jaksoa jos viisi niistä on jo reunalla. Vanhassa areenassa ja vanhalla versiolla spämmättiin vain ruudulle että tämä on jo, skipataan.. Vai onko tuo jo jollain vivulla tehtävissä?

[Kiitollinen käyttäjä]

Nyt kaipailisin turhien latailujen estämiseksi vipua, jotta ei tehdä -1.flv jne.. tiedostoja jos saman niminen on jo olemassa. Toki nuo nyt on helppo heittää skriptillä roskiin, mutta turha ladata kuutta jaksoa jos viisi niistä on jo reunalla. Vanhassa areenassa ja vanhalla versiolla spämmättiin vain ruudulle että tämä on jo, skipataan.. Vai onko tuo jo jollain vivulla tehtävissä?

Koodia: [Valitse]

--resume

[aoa]

Julkaisin uuden version yle-dl:stä: http://users.tkk.fi/~aajanki/rtmpdump-yle/yle-dl-1.99.9.tar.gz

Tuo ei enää tarvitse Yleä varten muokattua rtmpdumpia vaan se toimii suoraan pakettienhallinnasta asennettavan rtmpdumpin kanssa. Paketissa on pelkästään yle-dl-skripti, ei mtään C-sorsia. Siitä ei siis puutu mitään vaikka tavaraa on paljon vähemmän kuin aikaisemmin.

Aikaisemman yle-dl:n asentamat rtmpdumpin ja pluginin voi poistaa komennolla

Koodia: [Valitse]

sudo make uninstall-old-rtmpdump

[ajaaskel]

Mikähän tästä puuttuu ?  "Late lammas -- öinen kulkija" päättyy tähän:

yle-dl http://areena.yle.fi/tv/522903
Output file: Öinen kulkija-2012-06-09T09:49:00.flv
RTMPDump v2.3
(c) 2010 Andrej Stepanchuk, Howard Chu, The Flvstreamer Team; license: GPL
Connecting ...
WARNING: HandShake: Type mismatch: client sent 6, server answered 9
INFO: Connected...
ERROR: rtmp server sent error
Starting download at: 0.000 kB

--debug:
    <url region="fin">
      <connect>rtmpe://cp157366.edgefcs.net/ondemand?auth=eb.cFaobPa2d6atd.c3dXahcvbDc.awd6bgb2aicfdhckbWbgaHbnaCanaGczazcda0-bp1mZ9-c0-vga-punCrxApvvszoqwzDjDo-limWkanhk8m6kUlfk5nckZnV&amp;aifp=6&amp;slist=areena/fi/90/909ed461d06f4bfbbd1caa0526961b36</connect>
      <stream>mp4:areena/fi/90/909ed461d06f4bfbbd1caa0526961b36.mp4</stream>
    </url>
  </onlineAsset>
    </media>
<?xml version="1.0" encoding="utf-8" ?>
<fcs><ip>217.212.252.212</ip></fcs>
Traceback (most recent call last):
  File "/usr/local/bin/yle-dl", line 921, in <module>
    main()
  File "/usr/local/bin/yle-dl", line 917, in main
    sys.exit(dl.download_episodes(url, rtmpdumpargs, latest_episode, sublang, destdir))
  File "/usr/local/bin/yle-dl", line 291, in download_episodes
    return self.process_episodes(url, parameters, latest_episode, sublang, destdir, False)
  File "/usr/local/bin/yle-dl", line 305, in process_episodes
    sublang, destdir, print_url)
  File "/usr/local/bin/yle-dl", line 327, in process_single_episode
    filename = next_available_filename(filename)
  File "/usr/local/bin/yle-dl", line 220, in next_available_filename
    log(u'%s exists, trying an alternative name' % filename)
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 4: ordinal not in range(128)

[mrl586]

Mikähän tästä puuttuu ?  "Late lammas -- öinen kulkija" päättyy tähän:

Skandiongelma virheilmoituksesta päätellen

UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 4: ordinal not in range(128)

[aoa]

ajaaskelan raportoima virhe on korjattu githubissa: https://github.com/aajanki/yle-dl

[ajaaskel]

Kokeilin tuolla versiolla, tuli logia noin 10 M, laitan lyhennelmän lopusta mukaan kun 768 k on maksimi.


Edit 13.6.2012
Toisella, Ubuntu 10.04LTS koneella huomasin että tavallinen "rtmpdump" ei kuulu pakettivarastoihin. Sen saa kun lisää PPA:n ensin:

Koodia: [Valitse]

sudo add-apt-repository ppa:lucid-bleed/ppa

Koodia: [Valitse]

sudo aptitude update

Koodia: [Valitse]

sudo apt-get install rtmpdump
mutta ei toimi, lieneekö liian vanha tuo versio v2.3 vai mikä:

./yle-dl http://areena.yle.fi/tv/1366159
Output file: Noksu-2012-06-08T07:32:00.flv
RTMPDump v2.3
(c) 2010 Andrej Stepanchuk, Howard Chu, The Flvstreamer Team; license: GPL
Connecting ...
WARNING: HandShake: Type mismatch: client sent 6, server answered 9
WARNING: HandShake: Server not genuine Adobe!
ERROR: RTMP_Connect1, handshake failed.

[aoa]

mutta ei toimi, lieneekö liian vanha tuo versio v2.3 vai mikä:

rtmpdumpista pitää olla vähintään versio 2.4. Vanhemmat versiot eivät tue Ylen käyttämää handshake versiota 9.

[mrl586]

Yle-dl lienee jälleen rikki

Koodia: [Valitse]

[mrl586@U100 tux]$ yle-dl -V http://areena.yle.fi/tv/1030824
-- saksittu --
<media>
      <onlineAsset>
    <tvpayOnly>false</tvpayOnly>
    <cdn>false</cdn>
    <width>0</width>
    <height>0</height>
    <videoBitrate>580</videoBitrate>
    <audioBitrate>128</audioBitrate>
    <url region="fin">
      <connect>rtmpe://cp157366.edgefcs.net/ondemand?auth=eb.b5axb.dLcHdUcnaSaOcMaDcMaMbFbBdrbFalc0cldIdDbwdJbKcvaSb4dZafc.bW-bp3bib-c0-vga-vumCsADoqypypovwulEm-mhk2l9lgm9lckTlgn8m7nWmW&amp;aifp=6&amp;slist=areena/fi/e1/e13905479caf462a992f1611ffa10ebb</connect>
      <stream>mp4:areena/fi/e1/e13905479caf462a992f1611ffa10ebb.mp4</stream>
    </url>
  </onlineAsset>
    </media>
<?xml version="1.0" encoding="utf-8" ?>
<fcs><ip>217.212.252.199</ip></fcs>
Subtitles saved to Puutarhaetsivät (7)-2012-06-02T16:00:00.fin.srt
Output file: Puutarhaetsivät (7)-2012-06-02T16:00:00.flv
Executing:
/usr/bin/rtmpdump --playpath=mp4:areena/fi/e1/e13905479caf462a992f1611ffa10ebb.mp4 --swfUrl=http://areena.yle.fi/static/player/1.2.8/flowplayer/flowplayer.commercial-3.2.7-encrypted.swf --app=ondemand?_fcs_vhost=cp157366.edgefcs.net& --pageUrl=http://areena.yle.fi/tv/1030824 --rtmp=rtmpe://cp157366.edgefcs.net/ondemand --tcUrl=rtmpe://217.212.252.199/ondemand?_fcs_vhost=cp157366.edgefcs.net& -o Puutarhaetsivät (7)-2012-06-02T16:00:00.flv -V
RTMPDump v2.4
(c) 2010 Andrej Stepanchuk, Howard Chu, The Flvstreamer Team; license: GPL
DEBUG: Protocol : RTMPE
DEBUG: Hostname : cp157366.edgefcs.net
DEBUG: Port     : 1935
DEBUG: Playpath : mp4:areena/fi/e1/e13905479caf462a992f1611ffa10ebb.mp4
DEBUG: tcUrl    : rtmpe://217.212.252.199/ondemand?_fcs_vhost=cp157366.edgefcs.net&
DEBUG: swfUrl   : http://areena.yle.fi/static/player/1.2.8/flowplayer/flowplayer.commercial-3.2.7-encrypted.swf
DEBUG: pageUrl  : http://areena.yle.fi/tv/1030824
DEBUG: app      : ondemand?_fcs_vhost=cp157366.edgefcs.net&
DEBUG: live     : no
DEBUG: timeout  : 30 sec
DEBUG: Setting buffer time to: 36000000ms
Connecting ...
DEBUG: RTMP_Connect1, ... connected, handshaking
DEBUG: HandShake: Client type: 06
DEBUG: HandShake: DH pubkey position: 472
DEBUG: HandShake: Client digest offset: 1383
DEBUG: HandShake: Initial client digest:
DEBUG: ae bd fc 6b 05 3e 29 e3 0c bd d1 06 7a 05 86 5d
DEBUG: 75 b4 93 7e 40 36 a4 24 2c 89 5a e1 0a 8f 2a bc
DEBUG: HandShake: Type Answer   : 09
WARNING: HandShake: Type mismatch: client sent 6, server answered 9
DEBUG: HandShake: Server Uptime : 450146343
DEBUG: HandShake: FMS Version   : 3.5.7.1
DEBUG: HandShake: Server DH public key offset: 106
DEBUG: HandShake: Secret key:
DEBUG: fd 49 b1 66 8b f0 97 cb 9e fb 53 ac 89 4c 96 23
DEBUG: 70 51 6c f7 e0 29 a3 1a 0f 58 5f ab 31 00 5e 02
DEBUG: 42 f1 2f 44 49 b4 e1 98 42 6c 2c ee 7b bb b5 e5
DEBUG: 5c 82 88 f4 a4 66 67 c9 d2 06 c8 1f 7e 12 8d 4f
DEBUG: 59 12 eb 5e 2b 0e f5 ab 72 97 0d 20 c1 5f b3 ad
DEBUG: 4d ca 4a ac d4 b5 0b 10 f3 22 d7 e8 3b b4 da da
DEBUG: 1c ed fa 18 59 6a ed 24 d1 15 3b 74 b7 22 df 91
DEBUG: 12 97 a3 d5 f4 fd 17 f2 b1 a7 74 7e 90 02 02 af
DEBUG: RC4 Out Key:
DEBUG: 1a 65 db 9b d0 0c 55 52 71 56 7c c5 a2 4e 72 1a
DEBUG: RC4 In Key:
DEBUG: 7d 3c 02 a6 5a b1 03 e4 1d 7b cd e8 82 5f c9 f5
DEBUG: HandShake: Calculated digest key from secure key and server digest:
DEBUG: ae 6e 9f 78 fc 00 1d 97 51 57 d9 df 93 91 8f 73
DEBUG: a3 4d 55 1f 62 17 80 1b c8 55 fe 83 b6 f9 7b 7b
DEBUG: HandShake: Client signature calculated:
DEBUG: e2 ed 84 41 9c 05 0b 2b 99 7a 26 10 0a 22 d6 17
DEBUG: d8 d5 eb ec 68 85 91 59 39 e3 ab ce 3d 67 1c 4a
DEBUG: HandShake: Server sent signature:
DEBUG: 7c b8 58 11 2a a4 bf bb e9 00 69 69 6d 23 d8 94
DEBUG: 02 f1 af a9 17 e7 13 92 2b 9a f3 b5 69 2c 8e 15
DEBUG: HandShake: Digest key:
DEBUG: 12 26 38 cd e5 68 3e 0c 8f 57 54 6c 05 c8 5c 88
DEBUG: 69 94 2e 19 3a 88 d8 7a c2 cd 0f 54 cb 42 36 4b
DEBUG: HandShake: Signature calculated:
DEBUG: 7c b8 58 11 2a a4 bf bb e9 00 69 69 6d 23 d8 94
DEBUG: 02 f1 af a9 17 e7 13 92 2b 9a f3 b5 69 2c 8e 15
DEBUG: HandShake: Genuine Adobe Flash Media Server
DEBUG: HandShake: Handshaking finished....
DEBUG: RTMP_Connect1, handshaked
DEBUG: Invoking connect
INFO: Connected...
DEBUG: RTMP_ClientPacket, received: invoke 134 bytes
DEBUG: (object begin)
DEBUG: Property: NULL
DEBUG: (object begin)
DEBUG: Property: <Name:              level, STRING:     error>
DEBUG: Property: <Name:               code, STRING:     NetConnection.Connect.Rejected>
DEBUG: Property: <Name:        description, STRING:     [ AccessManager.Reject ] : Access denied!>
DEBUG: (object end)
DEBUG: (object end)
DEBUG: HandleInvoke, server invoking <_error>
ERROR: rtmp server sent error
DEBUG: RTMP_ClientPacket, received: invoke 18 bytes
DEBUG: (object begin)
DEBUG: Property: NULL
DEBUG: (object end)
DEBUG: HandleInvoke, server invoking <close>
ERROR: rtmp server requested close
DEBUG: Closing connection.

Koodia: [Valitse]

[mrl586@U100 ~]$ apt-cache policy rtmpdump
rtmpdump:
  Installed: 2.4+20111222.git4e06e21-1
  Candidate: 2.4+20111222.git4e06e21-1
  Version table:
 *** 2.4+20111222.git4e06e21-1 0
        500 http://cdn.debian.net/debian/ sid/main i386 Packages
        100 /var/lib/dpkg/status

[Illu]

Ainakin yle-dl http://areena.yle.fi/radio/1533019 toimii.