Yle Areenan ohjelmien tallentaminen tietokoneelle

[Kunnari]

Joskus tapahtuva epäonnistuminen yle-dl (win32 ja GUI versiolla) mutta sillion "aina" ja "100% epäonnistuminen".

On tapahtunut silloin tällöin, melkein aina FSTn ohjelmien kanssa (vaikkakin erit pieni osa latauksistani), rtmp(e)-yhteys ei edes lähde käyntiin rtmpdmp.exe vaiheessa.
Esim nyt, FST Närbild.  Huom. joskus on onnistunut "aivan normaalisti" pari pävää myöhemmin.
Oletukseni on että minut ohjataan toiselle servereille, taas tämä "akamai-erikoisuus" (vaikka en ole pariin vuoteen seurannut tätä yl-dl tarkasti, siitä uudistuksesta)

http://arenan.yle.fi/tv/1722712

GUI´n mukaan niin "epäonnistuu" heti kättelyssä, "teknil tieto" loggi jää tyhjäksi.
Tein nopean wiresharkauksen, YLEn sivu tuli normaalisti, sitten yhteys johonkin

papi.yle.fi

mutta siihen se sitten jäi.

Vertailu, kun avasin linkin firefoxilla (jolloin toimii normaalisti) niin tämän papi-n jälkeen mennään IP osotteen

a131.v1573655.c157365.b3.vi5.akamaistream.net

pienen paketti-pallottelun, josta paistaa jotain "CROSSDOMAIN" silmille, mennään RTMPE protokollan.
Tästä pikkupallottelusta näkee myöskin ylen swf-flowplayeri referer-inä.

Onko apua tai lohtua??

PS Kokeilin myöskin suoraan yle_dl , ei virheilmoituksia, eikö mitään, lopettaa vain heti.
Jossain vaiheessa sain kuitenkin virheilmoituksen ettei teksti-subit löydy. tämä klassinen "4xx not found"
Yritin myöskin --showall saadakseen rtmp-parametrit mutta meni liian vaikeaksi.

Vertailuna muutin edestakaisin bat-tiedostossa linkin viimeistä numeroa josta löytyi sopivasti toinen ohjelma. Se toimii aina.
http://arenan.yle.fi/tv/1722712 ->  http://arenan.yle.fi/tv/1722711


 

[nm]

Joskus tapahtuva epäonnistuminen yle-dl (win32 ja GUI versiolla) mutta sillion "aina" ja "100% epäonnistuminen".

On tapahtunut silloin tällöin, melkein aina FSTn ohjelmien kanssa (vaikkakin erit pieni osa latauksistani), rtmp(e)-yhteys ei edes lähde käyntiin rtmpdmp.exe vaiheessa.
Esim nyt, FST Närbild.  Huom. joskus on onnistunut "aivan normaalisti" pari pävää myöhemmin.
Oletukseni on että minut ohjataan toiselle servereille, taas tämä "akamai-erikoisuus" (vaikka en ole pariin vuoteen seurannut tätä yl-dl tarkasti, siitä uudistuksesta)

http://arenan.yle.fi/tv/1722712

Jep, näemmä tuon Närbild-jakson lataus ei onnistu yle-dl:n versiolla 2.0.0. Uusin vakaa 2.0.2 kuitenkin lataa jakson ongelmitta.

En osaa sanoa, mistä saisit valmiiksi paketoidun yle-dl 2.0.2:n Windowsiin. Ehkä riittää, että korvaat GUI-lataajan käyttämän yle-dl-tiedoston uudemmalla versiolla.

[ajaaskel]

Nyt on kasalla yle-dl v2.02 ".deb" -paketit.  Ubuntu/Mint/Peppermint/tms. -käyttäjille tuo asentuu/päivittyy helposti päätteessä tällä rimpsulla joka käyttää asennusohjelmaa:

Koodia: [Valitse]

wget -r -O./asenna_yle-dl.bash homelinuxpc.com/download/asenna_yle-dl.bash && chmod +x asenna_yle-dl.bash && ./asenna_yle-dl.bash  

Jos haluat sen sijaan asennella muulla tavalla niin paketit ovat esillä täällä:

http://www.homelinuxpc.com/download/yle-dl_2.0.2-1_i386.deb

http://www.homelinuxpc.com/download/yle-dl_2.0.2-1_amd64.deb

ja ohjeita niille täällä:

http://www.homelinuxpc.com/download/Areenan_nauhoituksen_asennus.html

[mrl586]

Oletko harkinnut YLE-DL:n PPA-paketointia?

[ajaaskel]

Oletko harkinnut YLE-DL:n PPA-paketointia?

En ole harkinnut mutta ei tuota mikään estäisikään.  Olen vain hieman skeptinen ottamaan käyttöön uusia ylläpitoa vaativia rinnakkaisia systeemejä. Nykyinen pakettien tiputtaminen webbipalvelimelle esille on muutaman klikkauksen juttu, ei vie aikaani ja sujuu rutiinilla.  Sen sijaan mielessä on joskus käynyt tehdä myös ".rpm" -paketit, nuo saisi varmaan aika pienillä lisätoimilla.
Itselläni ei ole tarkkaa kuvaa mitä vaivaa/ uutta ajanvietettä oman PPA: n ylläpito toisi mukanaan, ehkä joku asiaan syventynyt osaisi valottaa ?

[raimo]

Sen sijaan mielessä on joskus käynyt tehdä myös ".rpm" -paketit, nuo saisi varmaan aika pienillä lisätoimilla.

Johan ne ärpeeämmät on tuolla, ainakin jotain: http://pkgs.org/download/yle-dl
Noi on ilmeisesti sitten jonkun muun tekemiä?
Mageia 2 .rpm asentuu hienosti openSUSE 12.2een.

[nm]

Itselläni ei ole tarkkaa kuvaa mitä vaivaa/ uutta ajanvietettä oman PPA: n ylläpito toisi mukanaan, ehkä joku asiaan syventynyt osaisi valottaa ?

Perustamisen jälkeen PPA:n käyttö on melko kivutonta. Pakettien versiointi vaatii aluksi hieman perehtymistä, ja joudut opettelemaan joitakin deb-paketoinnin yksityiskohtia. Näihin pitänee varata muutama tunti opiskeluaikaa. Olemassaolevan paketin päivittäminen on alle kymmenen komennon operaatio. Voit vaikkapa tehdä skriptin paketin päivittämiseen, niin tarvittavia vaiheita ei edes tarvitse muistaa ulkoa.

Käytännössä sinun tarvitsee vain tehdä asianmukaisesti versioitu lähdekoodipaketointi, joka ladataan Launchpadiin dput-komennolla. Launchpad hoitaa kaiken siitä eteenpäin, eli luo binääripaketit kaikille valitsemillesi jakeluversioille ja korvaa vanhat deb-tiedostot uusilla. Käyttäjät saavat uudet paketit seuraavassa päivityksessä.

Koko operaatioon tarvittava ohjeistus on levällään eri paikoissa, mutta tässä on melko selkeä esimerkki ja tärkeimmät linkit:
http://www.stellarium.org/wiki/index.php/Creating_a_Ubuntu_PPA_package

[Kunnari]

Närbild-jakson lataus ei onnistu yle-dl:n versiolla 2.0.0. Uusin vakaa 2.0.2 kuitenkin lataa jakson ongelmitta.

Kiitos, sain hoidettua Linux versiolla. Valitettavasti en ole vuosiin tehhyt Pythonia windowsilla, ja silloin vain pari kertaa, ohjeet viereisen koneen ruudussa.. Aivossa vain musta tyhja muisti-aukko

[juyli]

Johan ne ärpeeämmät on tuolla, ainakin jotain: ...
Noi on ilmeisesti sitten jonkun muun tekemiä?

Valmiiden binääripakettien asentaminen sisältää aina tietyn riskin.
Yle-dl:n kääntäminen lähdekoodista lienee aina suositeltavin vaihtoehto myös jakeluihin, joihin takuuvarmaa, luotettavaa ohjelmalähdettä ei ole tarjolla.

[ajaaskel]

Noi on ilmeisesti sitten jonkun muun tekemiä?

Olen tehnyt vain .deb -paketit jotka sijaitsevat "homelinuxpc.com" koneen "download" kansiossa. En tunne/tiedä noiden .rpm -pakettien tekijöitä.

[shelby]

Nyt ei ole pelanneet lähetyksetkään millään selaimella. Pari päivää ollut vikaa, ennen pelasi kaikki, myös lataukset / tallennukset. Flash tsekattu ja ei kai tuo HTML5:llä juuri pelaakaan.

e. juu, johtuu Soneran pätkimisestä, jota liikkeellä . Vika ei siis YLEn. Eikä oman modeemin.

[ajaaskel]

(yle-dl 2.0.2)

Tämän ohjelman kohdalla näyttäisi olevan jotain hämminkiä:

Koodia: [Valitse]

yle-dl http://areena.yle.fi/tv/1640884
ERROR: RTMP_ReadPacket, failed to read RTMP packet header
(exit status 1)


Ehkä 5. yritys niin meni eteenpäin mutta jäi kesken:

INFO:   sampletype            avc1
INFO:   length                336896.00
INFO:   timescale             44100.00
INFO:   language              eng
INFO: sampledescription:
INFO:   sampletype            mp4a
664.925 kB / 7.62 sec (99.6%)
Download may be incomplete (downloaded about 99.60%), try resuming
(exit status 2)

[Kunnari]

Ylella musta aukko serveri, siis todella hidas  217.212.252.223?

HUomasin tallaista alkaen mahdollisesti jo kuukausi sitten, sittent tuli todella mahdoton 6-10h pari viikkoa sitten, ja tein pienia softavirityksia.

rtmpdump printtaa rtmp-serverin IP osoite, windows gui monitoroi sita, ja nain todella on, aina 223 serveri  mahdottoman hidas ja laukaisee sitten joskus jopa timeoutteja,

Otin myoskin yle-dl-sta  <connect serveri> serveri printaukseen, nahtavasti

rtmpe://cp157366.edgefcs.net

mutta en ole varma voiko rtmpdumpissa tapahtua re-direct toiseen.

IP ositteiden mukaan muut sercerit, esim 199-221 ovat aivan OK.

Onko samanlaisia kokemuksia?

Nyt teen cancel ja kaynnistan uudestaan kunnes tulee toinen serveri.
Seuraavaksi kokeilen jos esim jo yle-dl-ssa voi noin vain pakotta toiseen kun 223 tulee eteen

[ajaaskel]

Ylella musta aukko serveri, siis todella hidas  217.212.252.223?

Huonosti tuo 217.212.252.223 pingaa myös, pitkät viiveet ja menetettyjä paketteja.

PING 217.212.252.223 (217.212.252.223) 56(84) bytes of data.
64 bytes from 217.212.252.223: icmp_req=2 ttl=123 time=1675 ms
64 bytes from 217.212.252.223: icmp_req=3 ttl=123 time=1868 ms
64 bytes from 217.212.252.223: icmp_req=4 ttl=123 time=2032 ms
64 bytes from 217.212.252.223: icmp_req=5 ttl=123 time=2071 ms
64 bytes from 217.212.252.223: icmp_req=6 ttl=123 time=2091 ms
64 bytes from 217.212.252.223: icmp_req=7 ttl=123 time=1899 ms
64 bytes from 217.212.252.223: icmp_req=8 ttl=123 time=1978 ms
.
16 packets transmitted, 14 received, 12% packet loss, time 15035ms
rtt min/avg/max/mdev = 751.053/1845.936/2263.673/346.187 ms, pipe 3


inetnum:        217.212.252.128 - 217.212.252.255
netname:        SE-AKAMAI
descr:          Akamai International B.V.

Kokeilin toista mainitsemaasi osoitetta, se on ok eli vahvistettu on havaintosi.  Lieneekö YLE viasta tietoinen ?

[Kunnari]

Ylella musta aukko serveri, siis todella hidas  217.212.252.223?

Huonosti tuo 217.212.252.223 pingaa myös,

Jahapp, niinkuin entinen pomoni usein sanoi, tuleeko yle-dl-aan "banned servers" komento ja/tai lista?

Mutta kysymys, voiko rtmpdump kuitenkin itse, jutellessa yle(akamai) serverin kanssa viela vaihtaa toiseen.
Rtmpdumpissa on sellainen toiminta, luulisin, mutta kayttaako YLEn jarjestelma sellaista toimintaa??
Ylehan pystyy tasaamaan liikennointia html-sivua kayttaen.
Oletan etta siksi minua on joskus ohjattuu melkein ainoastaan 223 serverriin??
Joskus taas "ei koskaan"

Gunnar

[Kunnari]

Ylella musta aukko serveri, siis todella hidas  217.212.252.223?

Huonosti tuo 217.212.252.223 pingaa myös,

joskus ohjattuu melkein ainoastaan 223 serverriin??

Tällainen tilanne nyt melkein 4-5 ohjelmalla, esim

http://areena.yle.fi/tv/600162

Huomaa myös browserilla (testattavana koska menee aina 223seen), 2-3 sek video, sitten 2-3 sek paussia.

Kokeilin pakottaa toiseen serveriin muuttamalla ainoastaan URL 66->65(212), ei onnistunut, 212 heittää ulos, identifiointi? (josta en tiedä mitään)

Joten nyt yle-dl verio joka ainoastaan tunnistaa 223 serveriä ja lopetta pling-plongilla.

Lopputulos, tulee pelkästään plingplong esim yo videolla.

Gunnar

PS Lähetin emailin teknikka@yle.fi tai kotain siihen suuntaan, katsotaan minkälaisella sisäisillä viiveillä porukka toimii.

PPS Muistakseni edellinen täysmahdoton tilanne oli myöskin varhain viikonloppu-aamulla, olettavasti siis pientä liikennöintia? Voidaan olettaa että normaalina areeanaikoina on hurja joukko jotka katsoo pätk-pätkiä 223sestä, täydessä kuormassaan ja muut ohjataan muualle

PPPPs pari tuntia myohemmin tilanne parempi, joutuu harvoin 223sen ujriksi

[mrl586]

PPS Muistakseni edellinen täysmahdoton tilanne oli myöskin varhain viikonloppu-aamulla, olettavasti siis pientä liikennöintia? Voidaan olettaa että normaalina areeanaikoina on hurja joukko jotka katsoo pätk-pätkiä 223sestä, täydessä kuormassaan ja muut ohjataan muualle

Akamain palvelimella voi olla muutakin sisältöä kuin pelkästään YLE:n ohjelmia.

[Kunnari]

PPS Muistakseni edellinen täysmahdoton tilanne oli myöskin varhain viikonloppu-aamulla, olettavasti siis pientä liikennöintia? Voidaan olettaa että normaalina areeanaikoina on hurja joukko jotka katsoo pätk-pätkiä 223sestä, täydessä kuormassaan ja muut ohjataan muualle

Akamain palvelimella voi olla muutakin sisältöä kuin pelkästään YLE:n ohjelmia.

"Akamain palvelimella voi olla muutakin sisältöä kuin pelkästään YLE:n ohjelmia."

Juu, Tbyte hitaita ruotsalais-PINGeja

(kts yo, sorry, en voinut vastustaa ajatusta, olen just kamppailut hitaitten sektoreiden kanssa joita HDDregenerator detektoi ja korjaa, huonosti kirjoitettuja tai kovalevy swappaa sparen tilalle?)

Lisatietoa, myoskin varhan aamulla ja yolla ohjtataan 223seen selvasti enemman, jopa 100%, tai 10-15 kertaa perakkain.

samalla URLlla paadytaan eri IP-oaoitteeseen, tai sitten oma (ajatus-tieto-) bugi?
Kuka loppujen lopuksi paattaa mihin IPhen joudutaan, pingitkin URLlla menevat eri IP osoitteeseen niitten blokista.
223 aina hidas, niinkuin yo, 1.5 - 2 sekuntia, muut 30ms (ADSL ja vahan lisaa)

Tracert menee hki.x.tele.fii ja siita  hls-xx-telia.net ja IP(223).customer.teliacarrier.com( jolloin tulee 1,x s
Nahtavasti valiin tulee joskus toinenkin hls-b2-link.telia.net toisella 1.x sekunnin viiveella??
paketit kiertaa??

============

Jatkotiedoksi Emailin ja soiton jalkeen  YLE poisti 223 serverin parin paivan sisalla ja sitten toimiva 223 viikon sisalla

[ajaaskel]

Korjasin ja järjestelin joitakin yksityiskohtia Areenan menujen asennuksessa ja videokansioissa.  

• Areenamenujen asennus on nyt "Auto DL -tietoinen" eli huomaa jos koneessa on asennetuna Auto DL ja asentaa pidemmän version Launchy-menusta.  
• Videokansio on edelleen oletuksena "~/Videot" tai "~/Videos" mutta sen pystyy nyt itse helposti määrittämmän muuksikin tekemällä  ~/.menut/menut.conf tiedoston editorilla jonne laittaa rivin video=/home/liisa/uusi_video_hakemisto    (tai minkä polun sitten haluaakin).
•  Halutun videokansion alle syntyvät "Areena" ja "Katsomo" kansiot joihin nauhoitukset päätyvät.

Tämä rimpsu asentelee/päivittää menut:

Koodia: [Valitse]

wget -r -O./asennamenut.bash homelinuxpc.com/download/asennamenut.bash && chmod +x asennamenut.bash && ./asennamenut.bash

[Illu]

Kumma juttu, asentelin eilen Auto DL:n koneelle ja muutaman toivotun jakson ohjelma imaisikin.
Käytin komentona "wget -r -O./asenna_autodl homelinuxpc.com/download/asenna_autodl && chmod +x asenna_autodl && ./asenna_autodl" joka siis toimi.
Koskapa toivon Yleltä hakemani lataukset muualle kuin Videot-kansioon, olen asettanut yle-dl:n tallentamaan halutut jaksot kansioon nimeltään ylelataukset ja sinne ne menevätkin Launchyn avulla.

Nyt toivoisin Auto DL:nkin imutukset samaan kansioon, vaan eivätpä mene sinne vaan tuonne Videot-kansioon. Ajattelin tuon asennus/päivitys-rimpsun säätävän homman kuntoon. Kuitenkin kävi niin, ettei Auto DL:lää ole enää lainkaan hiiren oikeassa valikossa ja em. asennus päätteessä kertoi "Auto DL ei löytynyt koneesta asennettuna, käytetään lyhyempää launchy.xml tiedostoa." Minneköhän se katosi hyvän alun jälkeen?

Olen jo hiukan pihalla näiden asennusrimpsujen ja kohdekansioiden asetusjutuista.