Auto DL -- nauhoituspalvelin YLE Areenalle

[Hajakenttä]

Tattista.

Hyvin lataa. Ja hyvin näyttää elokuvasoitin. Mitenkäs tekstitys saadaan mukaan?

EDIT: Ahaa! Sekin on vain peruskäyttöä. Kyllä se tulee ihan soittimen asetuksista. Ja siitä tulee näköjään oma tiedostokin.

Taidan siis olla kehittyvä käyttäjä.

Kiitos ajaaskel:lle ja kaikille asiaan osallisille uhrautuvasta kehitystyöstä ja ganymedeelle taas avusta Linuxkäytössä.

Hyvää Joulua kaikille.

[Eesaurus]

Mitenkäs tekstitys saadaan mukaan?

Areenasta ladattuun videoon? Tekstitys tulee latauksen mukana, sitten ei kun videon päällä hiiren oikealla--->tekstitys--->hae tjs... Riippuu vähän soittimesta, mitä niissä valikoissa sanotaan.

[Hajakenttä]

Kiitos. Keksin jo ihan itse. Hyvää joulua.

[ajaaskel]

FAILURE, "Auto DL" yrittää yhä uudestaan ja uudestaan...

Uudelleenyritys on tarkoituksella suunniteltu ominaisuus "Auto DL": ssä, se varmistaa jokaisesta nauhoituksesta että "yle-dl" on onnistunut loppuun asti.  
"yle-dl" ohjelmasta on ilmestynyt jonkin aikaa sitten uusi versio joka varmaan korjaa tuon ongelman joka esiintyy vain tietyillä tv-ohjelmilla.  Päivitys käy helpoiten kun ajaa "yle-dl" asennuksen uudestaan.  Tuon voi tehdä asennusohjetta seuraten tai sitten kätevästi tällä rimpsulla päätteessä:

Koodia: [Valitse]

wget --no-cache -r -O./asenna_yle-dl.bash homelinuxpc.com/download/asenna_yle-dl.bash && chmod +x asenna_yle-dl.bash && ./asenna_yle-dl.bash    

Tuo pitkä rimpsu tekee samat asiat peräkkäin kuin asennusohjeessakin tehdään yksitellen käsin.  Jos katsoo tuota pitkää riviä tarkemmin niin siellä on asennuksen vaiheet yhdistetty kahdella "and"-merkillä (&&), tuo tarkoittaa että vain jos edellinen onnistui niin tehdään seuraava vaihe.  

sudon laitoin komennon eteen, ja tunnussanan kyseli, ja aloitti suorituksen ihan hyvin

"sudo": a ei lisätä eteen tätä asennusohjelmaa käytettäessä sillä asennusohjelman sisällä on jo "sudo".  Asennusohjelma ajetaan sellaisenaan ja asennusohjelma kyselee itse salasanaa silloin kun sitä tarvitaan asennukseen.

[K-Veikko]

FAILURE, "Auto DL" yrittää yhä uudestaan ja uudestaan...

Uudelleenyritys on tarkoituksella suunniteltu ominaisuus "Auto DL": ssä, se varmistaa jokaisesta nauhoituksesta että "yle-dl" on onnistunut loppuun asti.

Asensin ohjelman uudestaan ja sama jatkuu. Video kyllä latautuu täydellisenä koneelle:

md5sum
395bd189d00909a416374938bc2dc2b5  Kännykänheiton maailmanemstari heittää keihästä-2012-08-21T15:35:44-1.flv
395bd189d00909a416374938bc2dc2b5  Kännykänheiton maailmanemstari heittää keihästä-2012-08-21T15:35:44-2.flv
395bd189d00909a416374938bc2dc2b5  Kännykänheiton maailmanemstari heittää keihästä-2012-08-21T15:35:44.flv

Ehkä on jotenkin manuaalisesti merkittävä nuo videot onnistuneeksi, jos tämä lie harvinainen poikkeustapaus.

[Hajakenttä]

FAILURE, "Auto DL" yrittää yhä uudestaan ja uudestaan...

Uudelleenyritys on tarkoituksella suunniteltu ominaisuus "Auto DL": ssä, se varmistaa jokaisesta nauhoituksesta että "yle-dl" on onnistunut loppuun asti.  
"yle-dl" ohjelmasta on ilmestynyt jonkin aikaa sitten uusi versio joka varmaan korjaa tuon ongelman joka esiintyy vain tietyillä tv-ohjelmilla.  Päivitys käy helpoiten kun ajaa "yle-dl" asennuksen uudestaan.  Tuon voi tehdä asennusohjetta seuraten tai sitten kätevästi tällä rimpsulla päätteessä:

Koodia: [Valitse]

wget --no-cache -r -O./asenna_yle-dl.bash homelinuxpc.com/download/asenna_yle-dl.bash && chmod +x asenna_yle-dl.bash && ./asenna_yle-dl.bash    

Tuo pitkä rimpsu tekee samat asiat peräkkäin kuin asennusohjeessakin tehdään yksitellen käsin.  Jos katsoo tuota pitkää riviä tarkemmin niin siellä on asennuksen vaiheet yhdistetty kahdella "and"-merkillä (&&), tuo tarkoittaa että vain jos edellinen onnistui niin tehdään seuraava vaihe.  

sudon laitoin komennon eteen, ja tunnussanan kyseli, ja aloitti suorituksen ihan hyvin

"sudo": a ei lisätä eteen tätä asennusohjelmaa käytettäessä sillä asennusohjelman sisällä on jo "sudo".  Asennusohjelma ajetaan sellaisenaan ja asennusohjelma kyselee itse salasanaa silloin kun sitä tarvitaan asennukseen.

Tuo rimpsu näyttäisi olevan pelkän yle-DL:n asennus. Paras tulos tulee kun kaikki kolme rimpsua ajaa peräkkäin. Ja vielä niin, että launchyn asennuskomento, joka kai sisältää menujen asennusksen alustuksen, ensimmäiseksi, jos se ei jo ole foxissa. (Ja tässä välissä foxin uudelleenkäynnistys, jonka se kyllä itsekin pyytää.) Ja sitten tuo em. yle-dl asennus ja viimeiseksi auto DL asennusrimpsu. Jos toimivaankin nauhuriin menee ajamaan päälle uudelleen yle-dl asennuskomennon, menee koko nauhuri rikki. Ei enää vastaa mitään statuskyselyynkään. Ja korjaaminen ei onnistu uudella asennusproreduurilla muuten kuin poistamalla , tai uudelleennimeämällä kaikki asiaan liittyvät kansiot. Voi siinä nyt olla jotain minun taitamattomuuttakin, mutta tähän tulokseen tulin kun parikin kertaa koitin ihan uteliaisuuttani.

Siis... jos olisi koko revohkan asentava piiiitkä komento, niin sen voisi ajaa vain ensiasennuksena. Sitten myöhemmin kun haluaa päivittää automaattinauhuria, se on parasta tehdä pelkällä siihen osaan kajoavalla komennolla. Sitä en kokeillut, mitä launchy sanoo jos sen päälle asentaa uuden samanlaisen.

Auto DL toimii vasta kun kone uudelleenkäynnistetään. Komento: "sudo service autodld status" kertoo kätevästi, onko se asentunut ja käynnissä. Jos ei vastaa mitään niin ei ole asentunut. Niin kävi ainakin minun Xubuntulla siihen asti, että poistin entisen asennuksen ja kaikki sen kansiot. (Sehän meni vähän mönkään alun perin kun tössin sen sudon kanssa). Ja launhyn valikoiden asentumisen voi tarkistaa Firefoxin Työkalut valikosta (kuva), että onko siinä ne "lisää" ja "näytä/poista" rivit.

Nyt ainakin toimii. Kiitos jälleen työmiehille.

[mrl586]

Päivitys käy helpoiten kun ajaa "yle-dl" asennuksen uudestaan.  Tuon voi tehdä asennusohjetta seuraten tai sitten kätevästi tällä rimpsulla päätteessä:

Koodia: [Valitse]

wget --no-cache -r -O./asenna_yle-dl.bash homelinuxpc.com/download/asenna_yle-dl.bash && chmod +x asenna_yle-dl.bash && ./asenna_yle-dl.bash

Vielä helpommin päivitys käy seuraavilla komennoilla:

Koodia: [Valitse]

#64 bit
wget homelinuxpc.com/download/yle-dl_2.0.2-1_amd64.deb && sudo dpkg -i yle-dl_2.0.2-1_amd64.deb
#32 bit
wget homelinuxpc.com/download/yle-dl_2.0.2-1_i386.deb && sudo dpkg -i yle-dl_2.0.2-1_i386.deb

[ajaaskel]

FAILURE, "Auto DL" yrittää yhä uudestaan ja uudestaan...

Uudelleenyritys on tarkoituksella suunniteltu ominaisuus "Auto DL": ssä, se varmistaa jokaisesta nauhoituksesta että "yle-dl" on onnistunut loppuun asti.

Asensin ohjelman uudestaan ja sama jatkuu. Video kyllä latautuu täydellisenä koneelle:

md5sum
395bd189d00909a416374938bc2dc2b5  Kännykänheiton maailmanemstari heittää keihästä-2012-08-21T15:35:44-1.flv
395bd189d00909a416374938bc2dc2b5  Kännykänheiton maailmanemstari heittää keihästä-2012-08-21T15:35:44-2.flv
395bd189d00909a416374938bc2dc2b5  Kännykänheiton maailmanemstari heittää keihästä-2012-08-21T15:35:44.flv

Ehkä on jotenkin manuaalisesti merkittävä nuo videot onnistuneeksi, jos tämä lie harvinainen poikkeustapaus.

Asensithan varmasti uusiksi "yle-dl" -osan, ei "Auto DL" ?  No se on kyllä helppoa tarkastaa päätteessä kun kirjoittaa sinne pelkän:

Koodia: [Valitse]

yle-dlyle-dl 2.0.2: Download media files from Yle Areena and Elävä Arkisto
.
eli pitäisi näkyä tuo versio 2.0.2 jos se on ajan tasalla.

Edit:
Hetkinen, tuossahan taitaa olla jokin ongelma uudella "yle-dl" versiollakin kun kokeilee komentoriviltä:

664.925 kB / 7.62 sec (99.6%)
Download may be incomplete (downloaded about 99.60%), try resuming

Antaa statusta 2...   epäonnistui...  tuon takia "Auto DL" huomaa sen ja yrittää uudestaan.  


Tilapäinen korjaus:  

Voit pakkokuitata kyseisen tv-ohjelman nauhoitetuksi näin:

Koodia: [Valitse]

sudo touch /opt/auto_dl/.auto_dl/jobs_done/1640884
jolloin "Auto DL" ei enää uudelleen yritä tuota.   Saman tempun voi tehdä mille hyvänsä ohjelmalle kun vilkaisee Firefox: sta mikä sen ohjelman numero on, näkyy kun hiiri on sen kohdalla.

Koodia: [Valitse]

yle-dl http://areena.yle.fi/tv/1640884"yle-dl" epäonnistuu tuon ohjelman kohdalla myös täällä. Virhekoodi vain näytti nyt vaihtuneen (1)
ERROR: RTMP_ReadPacket, failed to read RTMP packet header
Täytynee laittaa kommentti tuonne "yle-dl" ketjuun.

[2-mieli-FI-poliisi]

Moi.

Auto dl:llä
Background:
    System-V Init     v1.0
    Job Manager     v1.1
    Feed Reader     v1.29
    TSV Converter     v1.11
Foreground:
    Job Maker     v1.14
    Job Editor     v1.16
    TSV Converter     v1.11
    Setup Check     v1.1
on MOT tilattuna ja nyt jo toista vuorokautta lataa samoja pätkiä yhä uudestaan ja uudestaan.

MOT: Potilas, tietojasi urkitaan-2013-01-03T20:28:00.flv (1,3Mt, 15sek)
MOT: Potilas, tietojasi urkitaan (traileri)-2013-01-03T20:28:00.flv (1,3Mt, 15sek)

Ilmeisesti noissa on koko minitraileri(?), mutta se taidetaan tulkita (kokonsa vuoksi?) keskeytyneeksi lataukseksi. Pian olen poistanut noita tiedosoja 40 kpl ja alkaahan se pikkuhiljaa ärsyttää.  

Tämä ihan vaan tiedoksi.

[ajaaskel]

Pian olen poistanut noita tiedosoja 40 kpl ja alkaahan se pikkuhiljaa ärsyttää.

Se lienee tämä:

http://areena.yle.fi/tv/1785779

Tuo on sama ilmiö kuin tuolla aiemminkin "yle-dl" ohjelmassa:

1378.097 kB / 15.08 sec (99.8%)
Download may be incomplete (downloaded about 99.80%), try resuming

Koodia: [Valitse]

echo $?2

Auto DL uudelleen yrittää niin kauan kunnes "yle-dl" ilmoittaa latauksen onnistuneen.  Tuo vika pitäisi korjata "yle-dl" ohjelmassa jota Auto DL käyttää latausten tekemiseen.    

Lisään Auto DL ohjelmaan laskurin joka rajoittaa latausyritykset johonkin määrään, lieneekö 5 sopiva oletusarvo ?

Tilapäisenä apuna tuon voi pakkokuitata tehdyksi samalla tavalla kuin tuolla ylempänäkin, ohjelman id-numero vaan on nyt 1785779.

Koodia: [Valitse]

sudo touch /opt/auto_dl/.auto_dl/jobs_done/1785779

[2-mieli-FI-poliisi]

En aivan tarkkaan muista kuinka monta failiä on ollut enimmillään, ennen onnistunutta!
Kyllä tuo 5 tuntuu sopivalta ja 7 on jo vähän liikaa.

Huomasin kyllä nuo yllä, mutta kun olin jo naputellut. 

[2-mieli-FI-poliisi]

Mietintämyssyyn täytettä:

Mikäli Yle alkaa jatkossa julkaista ohjelmien trailereita ja ennakkoja nykyistä enemmän niin auto dl:ään lienee hyvä miettiä heuristiikka sanoille traileri (MOT) ja ennakko (Suomensukuiset 30 päivässä).
- Trailerit voisi jättää lataamattakin, koska varsinainen ohjelma ladataan vasiten tilattuna joka tapauksessa.
- Ennakko julkaisut voinnee uudelleennimetä ja merkitä ladatuksi vasta sen jälkeen, jolloin ei tule tuplalatauksia.
Paljon on kiinni myös siitä kuinka järkevää ja yhtenäistä "nimeämis jne. politiikka" Areena käyttää.

[Illu]

Paljon on kiinni myös siitä kuinka järkevää ja yhtenäistä "nimeämis jne. politiikka" Areena käyttää.

Täysin mielivaltaista ja ohjelmista saattaa olla useampiakin tallenteita eri nimillä. Usein jaksot myös jäävät kokonaan pois tai tulevat vasta pyynnön jälkeen. Näin siis radiopuolella.

[ajaaskel]

En aivan tarkkaan muista kuinka monta failiä on ollut enimmillään, ennen onnistunutta!
Kyllä tuo 5 tuntuu sopivalta ja 7 on jo vähän liikaa.

No nyt on koodattu rajoitin mukaan.  Tein ensin niin että arvo oli kiinteä 5 yritystä mutta täydensin sen lopulta niin että käyttäjä voi itse laittaa yritysmäärän miksi haluaa.  Se on nyt oletuksena 5 yritystä ellei muuta sitä itsetehdyn "autodl.conf" tiedoston kautta.  

Auto DL yrittää nyt enintään 5 kertaa saman ohjelmajakson latausta.  Kun aika tulisi kuudennelle yritykselle se huomaa että on jo yritetty maksimimäärä, merkitsee latauksen tehdyksi ja kirjoittaa huomautuksen epäonnistumisesta ---> /opt/auto_dl/logs/recorded.log.  Tältä se nyt näyttää (uusi muuttujakin näkyy siellä):

Koodia: [Valitse]

.auto_dl/adl_chk
Checking Auto DL setup:
Background:
    System-V Init     v1.0
    Job Manager     v1.1
    Feed Reader     v1.31
    TSV Converter     v1.11
Foreground:
    Job Maker     v1.14
    Job Editor     v1.16
    TSV Converter     v1.11
    Setup Check     v1.11

Configuration:
    Default DownloadPath=/home/arto/Videot
    Default WindowHeight=600
    Default WindowWidth=400
    Default UseWinFilenames=no
    Default MaxDownloadCount=5
    Default RecordExitTask=no

[K-Veikko]

FAILURE
Johtuukohan kahdesta peräkkäisestä ä:stä tiedostonimessä vai mistä sitten. Mutta autodld yrittää kahta videota yhä uudestaan ja uudestaan. Saman feedin muut lataukset onnistuivat.

Tuo ongelma sitten jatkui jatkumistaan, kunnes tyhjensin [yle-dl] hakemiston. – Enää ei lataa noita kahta tiedostoa uudestaan ja uudestaan.

[ajaaskel]

Viimeisin (laitettu esille tänään) Auto DL versio laskee ja kirjaa "yle-dl" ohjelman tekemät latausyritykset ja luovuttaa viiden (5) yrityksen jälkeen eli se ei enää jää ikuisesti yrittämään jos lataus jää kesken.  Auto DL ei itse tarkasta erikseen miten pitkälle lataus onnistui vaan lukee vain "yle-dl" ohjelman antaman vastauksen onnistuiko vai ei.

 

...tyhjensin [yle-dl] hakemiston...

Kertoisitko hieman tarkemmin, siis tyhjäsit minkä ?   Jos "yle-dl" ilmoittaa epäonnistuneensa tehtyään 99,6 % latauksesta niin se tekee sen säännönmukaisesti kaikilla testikoneillani kyseisellä tv-ohjelmalla/jaksolla.

[K-Veikko]

...tyhjensin [yle-dl] hakemiston...

Kertoisitko hieman tarkemmin, siis tyhjäsit minkä ?  

Tyhjensin kaikki ladatut ohjelmat hakemistosta, johon ohjelma lataa nämä flv tiedostot.

Aluksi nämä kaksi jaksoa tulivat eri nimisinä (.1, .2, ...) samaan hakemistoon.

Sitten tein nimeämis-skriptin, joka kirjoitti edellisen päälle. Ladatun ohjelman päiväyksestä kuitenkin näin, että se latautui aina uudestaan. Samoin, jos poistin tiedoston. Tai käynnistin yle-dl ohjelman uudestaan.

Minulla ei ole mitään käsitystä siitä miksi uudelleen latautuminen loppui siihen samaan hetkeen kun poistin kaikki tiedostot tästä latauskansiosta, joka on määritelty ohjelman asetuksissa.

EDIT:
Silloin alkuvaiheessa, kun tiedostoja tuli paljon, otin (muistaakseni) niistä md5sum'n ja ne olivat identtisiä.

[ajaaskel]

Tämä kuuluisi oikeastaan tuonne "yle-dl" keskusteluketjuun mutta asia heijastuu myös Auto DL: n käyttöön.   
Tiettävästi on edelleen kaksi hieman erilaista vikaa jotka esiintyvät "yle-dl": n kanssa: 
1) Lataus onnistuu liki loppuun (esim 99,6%) mutta jokunen prosentin kymmenys jää puuttumaan ja "yle-dl" ilmoittaa Auto DL: lle latauksen epäonnistuneen.
2) "yle-dl": n käyttämä "rtmpdump" jumii jotenkin itsensä, nostaa hyvin korkean kuorman eikä lopeta itseään muuten kuin erikseen tappamalla.   

Noista kahdesta, liiallisia uudelleenyrityksiä vastaan Auto DL on nyt oletuksena rajattu viiteen. CPU kuormituksen seurantaa Auto DL ei sisällä.  Sitä ei oikeastaan tarvittaisikaan jos Auto DL: n kutsumat latausohjelmat olisivat "satavarmoja" mutta tuota voidaan miettiä vielä. 

[2-mieli-FI-poliisi]

Lisää huomiota "viime ajoilta".

Yle-dl (launchy --lataa) ei ole enää aiheuttanut cpu kuorman nousua. Auto-dl:ssä en ole samaa ongelmaa koskaan edes havainnut.

Joskus kun Auto-dl on jäänyt luuppin, olen onnistunut lataamaan ko. ohjelman Yle-dl:llä. Toisinaan ei kumpikaan ole onnistunut kun vasta "yön yli nukuttua". Ylen palvelimilla voinee joskus olla ohjelmakohtaisesti "bittiä poikittain", tiedostot sirpaloituneet(?) tms. väljyyttä datassa.

En ole myöskään törmännyt tuohon, että lataukset aiheuttavat ongelmia vasta 99,6% kohdalla. Tosin päättestä käytettynä Yle-dl:n laskuri ei ole tainnut milloinkaan näyttää 100% vaikka lataukset on tehty täysin onnistuneesti. Pyöristettynä luvut näyttäisivät oikeammilta(?).

Viimeksi (ajat sitten) kun kokeilin aloittaa videon katselun "heti" latauksen alettua se onnistui vallan mainiosti. Data latautui koneelle "live stream järjestyksessä", eli jos näin on edelleen niin megan tai kahden (hypoteettinen) puuttuminen "lopputeksteistä" ei kenenkään venettä kaada.

Näillä ajatuksin tällä kertaa.

[mrl586]

Yle-dl (launchy --lataa) ei ole enää aiheuttanut cpu kuorman nousua. Auto-dl:ssä en ole samaa ongelmaa koskaan edes havainnut.

Firefox, se cpu-kuorman nousun aiheuttaa.