Ubuntu Suomen keskustelualueet

Ubuntun käyttö => Multimedia ja grafiikka => Aiheen aloitti: ajaaskel - 12.09.12 - klo:22.14

Otsikko: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 12.09.12 - klo:22.14
Asian taustaa löytyy täältä hyvin pikaisesti kirjoitettuna sekä html että pdf-muodossa:

http://www.homelinuxpc.com/download/tv_rss_kehitys.html (http://www.homelinuxpc.com/download/tv_rss_kehitys.html)
http://www.homelinuxpc.com/download/tv_rss_kehitys.pdf (http://www.homelinuxpc.com/download/tv_rss_kehitys.pdf)

Betaversio kokeilijoille on esillä, paketti muuttuu vielä, asentuu Ubuntuun käden käänteessä vaikka näin:

Koodia: [Valitse]
wget --no-cache -r -O./asenna_autodl homelinuxpc.com/download/asenna_autodl && chmod +x asenna_autodl && ./asenna_autodl
Tarkoitettu hieman kokeneemmille käyttäjille aluksi joille nykyinen Areenan nauhoitus on jo tuttu asia ja toistaiseksi vain Ubuntuun (Mint 13 käy myös).  Kyseessä on ohjelmisto joka automaattisesti nauhoittaa halutut YLE Areenan ohjelmat aina kun uusi jakso ilmestyy.  Nauhoitettavaksi halutut Areenan ohjelmavalinnat lisätään Firefox: ssa Launchy-menun kautta.  Taustaohjelma toimii tavanomaisesti eli se pyörii koneella vaikka käyttäjä kirjautuu ulos ja nauhoittelee mitä käyttäjä on määritellyt tehtäväksi.  Tuossa mielessä toiminta on sama kuin nauhoittavassa digiboxissa paitsi että yhteys on netin kautta ja käyttö ei vaadi mitään kallista lisälaitetta, vain tietokoneen missä Ubuntu tai Mint 13.
Teknisesti ohjelma seuraa RSS-syötettä eli kun uusi ohjelmajakso ilmestyy niin ohjelma herää nauhoittamaan sen jos kyseinen ohjelma oli nauhoitettavaksi valittujen listalla.  Ohjelma on laajennus jo olemassaolevaan "yle-dl + menut" -systeemiin eli nuo kaksi pitää laittaa koneeseen aluksi ja tämä Auto DL viimeisenä sillä se asentaa laajennetun Launchy-menun Firefox: lle.

Laajennettu menu sisältää uusia asioita:


Tuo "lisää" -menuvalinta tutkii RSS-syötteen (toimii oikein vain RSS-kuvakkeen päältä hiiren oikealla klikattaessa) ja antaa menun josta voi ruksia haluamansa ohjelmat. "poista" näyttää jo tehdyt valinnat ja antaa poistaa niitä.

Valinnat tallettuvat käyttäjäkohtaisesti.  Kukin käyttäjätunnus voi tehdä omat valintansa.  Taustalla pyörii palvelinohjelma (diimon) joka seuraa kaikkien käyttäjien valintoja ja tekee nauhoitukset niiden perusteella.   Palvelinohjelmaa voi ohjata päätteestä kuten mitä hyvänsä muutakin taustapalvelua:

Koodia: [Valitse]
sudo service autodld start
sudo service autodld stop
sudo service autodld status
sudo service autodld restart

Palvelimen pitäisi olla käynnissä heti asennuksen jälkeen mutta se jauhaa taustalla "tyhjää" ennen kuin jotain töitä annetaan sille.  Kuormitus liki nolla ellei töitä ole määritetty.

Teknisestä toteutuksesta

Ohjelmisto koostuu kahdesta toiminnallisesta osasta:


Toiminnan ymmärtäminen auttaa testauksessa tai jos ohjelman haluaa asentaa muualle kuin Ubuntuun tai Minttuun.  Käyttäjän ei tarvitse tietää juuri mitään näistä ohjelman toiminnan detaljeista, käyttö on hyvin yksinkertaista.

Käyttäjän ohjelmat

Käyttäjän ohjelman tehtävänä on luoda tai poistaa työmäärityksiä. Työmääritykset talletetaan kunkin käyttäjän kotihakemiston alle.  Kotihakemiston alle syntyy ".auto_dl" -piilohakemisto jonka alla on puolestaan "adl_jobs" hakemisto määriteltyjä töitä varten.
Töiden lisäys ja poistaminen tapahtuu Firefox: ssa Launchy-menun kautta. Idea on helppo oivaltaa kun sen näkee kerran edessään.  
Launchy: ssä tehty "lisää" -valinta käynnistää "new_jobs" ohjelman
jolle välittyy RSS-linkki.  Mikäli linkki on jotain muuta kuin RSS se hylätään ja virhe logataan.  
Saatuaan RSS_linkin "new_jobs" lukee syötteen ja rakentaa ohjelmien nimistä valintamenun johon käyttäjä ruksii mitkä ohjelmat halutaan nauhoittaa aina automaattisesti kun uusi jakso tulee.  Kun lista on valmis ja hyväksytty ohjelma muuntaa käyttäjän valinnat ohjeiksi palvelinohjelmalle eli RSS_linkki + seurattava(t) ohjelma(t) ja tallettaa sen.  RSS-linkkejä voi lisätä useamman kerran ja mielivaltaisen määrän.
Launchy: ssä tehty "poista" -valinta käynnistää "edit_jobs" ohjelman joka näyttää nykyiset valinnat ja antaa poistaa turhia.   Tuota editoria voi ajaa komentoriviltäkin:

Koodia: [Valitse]
.auto_dl/edit_jobs
Taustaohjelmat

Taustaohjelmien tehtävä ja toimintatapa on hieman monimutkaisempi.  
Päätaustaohjelma "auto_dld" eli "syötelukijoiden pomo" seuraa onko millään käyttäjätunnuksella luotu töitä.  Jos käyttäjä on valinnut ohjelman nauhoitettavaksi niin palvelinohjelma käynnistää RSS-syötelukijan "get_feed" kyseiselle työlle.  Samalla palvelinohjelma merkitsee työkirjanpitoon tuon työn aktivoiduksi.  Kutakin RSS-linkkiä kohti avataan oma syötelukija.  Vastaavasti jos käyttäjä poistaa töitä niin että syötelukija jää työttömäksi niin kyseinen syötelukija sammutetaan ja työ poistetaan työkirjanpidosta.  
Syötelukija "get_feed" seuraa tehtäväksi annettua syötettä.  Saatua syötettä verrataan työmääritykseen.  Jos syötteen mukana tulee uuden ohjelmajakson tiedot joka on myös määritetty nauhoitettavaksi niin ohjelma rakentaa käynnistyskomennon "yle-dl" ohjelmalle ja aktivoi sen.  
 
Sys-V-init
Päätaustaohjelma käynnistyy koneen käynnistyksen yhteydessä Sys-V-init: in kautta.  Asennusohjelma huolehtii käynnistyksen asennuksesta --> /etc/init.d ja aktivoi tuon.

Asennusohjelma
Asennusohjelma lataa asennuspalvelimelta "www.homelinuxpc.com/download" autodl.zip paketin, purkaa sen ja kopioi ---> ~/.auto_dl, /opt/auto_dl, /etc/init.d  ja tarkastaa että jokin "Videot" -hakemisto on olemassa.  Laajennettu launchy.xml kopioidaan oikeisiin käyttäjäkohtaisiin paikkoihin.   Asennusohjelma on melko helppolukuinen.

Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: salai - 15.09.12 - klo:02.33
Ei taida ihan vielä toimia?

Asennusohjelma tekee homen alle rootin omistaman kansion .auto_dl eikä kopioi sinne esim. xml2tsv-yle-fi -tiedostoa.

Jos muutan oikeudet käyttäjälle ja lisään tuon tiedoston, auto_dl lataa kyllä tekstitykset (*.srt), mutta *.flv tiedostot ovat nollan pituisia.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 15.09.12 - klo:09.42
Asennusohjelmassa voi hyvin olla puutteita ja samoin tuon paketin kasauksessa muuttelin polut lopullista käyttöä ajatellen. Katson mikä siellä kurahtaa ja korjaan.  Itse ohjelma toimii täällä Ubuntu 10.04 LTS ja Mint 13 koneissa.

Odotellessa kerron lyhyesti rakenteen niin voit laittaa tavarat itse kopioiden ja tarkastaa ownerit.  Logeista pystyy katsomaan mitä tapahtuu sen jälkeen kun jotain on jo saatu käyntiin.

Käyttäjätiedostot   -->   ~/.autodl     (Omistaja kyseinen käyttäjä)
new_jobs
edit_jobs
xml2tsv-yle-fi

Palvelintiedostot    -->  /opt/auto_dl    (Omistaja root)
auto_dld
get_feed
xml2tsv-yle-fi

System-V-Init-tiedosto --> /etc/init.d   (Omistaja root)
autodld

Pitäisi palvelimen käynnistyä käsin tuon jälkeen kun antaa:

Koodia: [Valitse]
sudo service autodld start
Ohjelmat luovat omat hakemistorakenteensa päähakemistojen alle ensikäynnistyksellä.  Logit löytyvät noiden päähakemistojen alta.
ls /opt/auto_dl
auto_dld  get_feed  logs  xml2tsv-yle-fi


Edit:
Otin erilaisen koneen nähdäkseni mitä tuossa voi tapahtua, nyt Mint LMDE (Debian).  wget ei tiputtanut oletushakemistoon installeria, korjasin jo tuon tuonne asennusrimpsuun. Pyörähti läpi sen jälkeen. Tutkitaan...
.
update-rc.d: using dependency based boot sequencing
autodld running


ls -l /opt/auto_dl
yhteensä 28
-rwxr-xr-x 1 root root 6231 syys  15 09:56 auto_dld
-rwxr-xr-x 1 root root 9606 syys  15 09:56 get_feed
drwxr-xr-x 2 root root 4096 syys  15 09:56 logs
-rwxr-xr-x 1 root root 1618 syys  15 09:56 xml2tsv-yle-fi


Näyttäisi käynnistyneen ja palvelintiedostot oikeissa paikoissa.

Koodia: [Valitse]
sudo service autodld statusautodld is running.

Käyttäjätiedostojen asennuksessa on mainitsemasi kopiointibugi, korjataan...

Korjattu tuo "xml2tsv-yle-fi" -kopiointi tuohon asennusohjelmaan.  

Havaittu vika: launchy.xml ei ole päivittynyt
On päivittynyt oikein mutta Firefox piti käynnistää uudestaan että pidempi Launchy-menu näkyy.
Eli ei vikaa tuossa.

Havaittu vika: Palvelimen Job Manager -osassa jotain pielessä, ei tunnista prosesseja oikein,  
pyörii ok Ubuntu 10.04: ssä mutta LMDE: ssä (Debian) ei.  Tässä voi mennä hetki...

No nyt pyörii myös LMDE: ssä.  Oli erilaisia bugeja jotka vaikuttavat muihinkin, kannattaa tiputtaa uusin versio.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: Ganymedes - 15.09.12 - klo:11.30
Hieno homma tämä!  ;D

Kokeilin Ubuntu 12.04 64-bit ja näyttäisi toimivan. En ole vielä saanut mitään sarjaa nauhoitettua, mutta työt näyttävät syntyneen jonoon. Yksittäinen nauhoitus on testattu.

Tämä ei ollut tuttua entuudestaan. Ohjeissa en huomannut mitään epäjohdonmukaista kunhan ne vain malttoi lukea. Pari juttua meni tämän vuoksi väärin:

- ydin (yle-dl) pitää olla asennettu ensin - ei sillä ettei tuota olisi ohjeessa sanottu  :) Tuo wget-komento ei toiminut oikein ilman tätä, vaikka ei sillä väliä koska Launchy-jutut eivät toteutuneet ollenkaan. Asensin uudelleen ja silloin meni oikein.

- Firefoxin käynnistys oli tarpeen jotta Launchyssä nämä uudet asiat tulivat näkyviin

- RS-feedin päällä klikkaaminen on kyllä kerrottu sekin, mutta vain sivulauseessa. Muutenhan ei tapahdu mitään.

Loppukäyttäjän versioihin: Jossain varmaan pitäisi olla hieman ruutukuvia, jotta tietäisi mitä odottaa ja mitä pitäisi näkyä minkäkin tempun jälkeen - silloin olisi paljon helpompi varmistua että teki jotakin oikeaa. Esim. tuo RSS-feed ja Launchy-juttu lienee monelle aika uutta.

Mutta kuten sanottu - näyttäisi toimineen ihan dokumentin mukaan.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: salai - 15.09.12 - klo:11.32
Sain systeemin pelaamaan Peppermint Two:ssa nyt.

Nyt kun ymppään tuohon vielä ne aviksi muunto-skriptini ja laitan MiniDLNA:n pyörimään alkaa etäohjattava näytötön mediapalvelin olla valmis. Nythän se jo tallettaa digitv-ohjelmat levylleen.

Sain viikolla 2 Raspberry Piitä, ja olisi hauska tehdä sellaisestakin tallennusautomaatti.  Esim. mutsin telkan taakse pyörimään, jota sitten ohjaisin kotoa etänä kopioimalla SSH-konsolissa RSS-syötteen osoitteen skriptille.

Jos tuon nyt ensin saa edes toimimaan siinä rasbianinissa, tai kai mieluummin XBMC-versiossa?
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 15.09.12 - klo:12.48
Olkaa vielä varovaisia, beta, ei tuo mitään riko mutta jotain siellä bugittaa, muutoksia joutui tekemään aika paljon eri nurkilla kun kasasin sitä toiseen koneeseen asennettavaan muotoon ja tälle hakemistorakenteelle.  Siivoan jääneitä virheitä pois sitä mukaa kun osuvat silmään.

Lainaus
Jossain varmaan pitäisi olla hieman ruutukuvia...

En pysty liittämään kuvia kun foorumisofta ei anna enää tehdä, tuli limitti täyteen kuvien tallennustilassa.

Lainaus
Jos tuon nyt ensin saa edes toimimaan siinä rasbianinissa,...
Tuon saa toimimaan kaikissa laitteissa missä bash4.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: mrl586 - 15.09.12 - klo:15.36
Tuon saa toimimaan kaikissa laitteissa missä bash4.
Myös Nokia N9:ssä?
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: Tomin - 15.09.12 - klo:16.11
Tuon saa toimimaan kaikissa laitteissa missä bash4.
Myös Nokia N9:ssä?
Kyllä varmaan. Eri asia on miten paljon joutuu muokkaamaan Meegon ekosysteemiä varten.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 15.09.12 - klo:16.23
Löysin ja korjasin bugit taustaohjelmasta, toiminee varmaan aika ihmeellisissäkin laitteissa.  Tehovaatimuksia ei ole juuri lainkaan, kuormaa syntyy vasta kun lataus Areenasta käynnistyy eli kun ohjelma kutsuu "yle-dl": n töihin.

Kannattaa asentaa uudestaan, ensin pysäyttää taustaohjelman

Koodia: [Valitse]
sudo service autodld stop
ja ajaa tuon pitkän rimpsun tuolla ylempänä (jota myös on hieman korjattu).  

Lainaus
Myös Nokia N9:ssä?
Ei ole itsellä tuota mutta periaatteessa minimivaatimus on mikä hyvänsä Linux ja bash v4 tai uudempi. Voi hieman teettää käännöstöitä, valmiit .deb -paketit helpottavat missä niitä voi käyttää suoraan. Saisin varmaan aika helposti kasalle myös .rpm -paketit tuosta "yle-dl": stä jos joku niitä tarvitsee.

Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: mrl586 - 15.09.12 - klo:16.40
Löysin ja korjasin bugit taustaohjelmasta, toiminee varmaan aika ihmeellisissäkin laitteissa.  Tehovaatimuksia ei ole juuri lainkaan, kuormaa syntyy vasta kun lataus Areenasta käynnistyy eli kun ohjelma kutsuu "yle-dl": n töihin.
Olet oikeassa, että taustaohjelma on kevyt, mutta edustaohjelma on varsin raskas pakollisen Firefox-riippuvuuden vuoksi. Edustaohjelmasta olisi syytä kehittää erillinen kevytversio (esim. komentorivisovellus).
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 15.09.12 - klo:16.44
Firefox ei ole pakollinen mitenkään.   Kokeile mitä näkyy päätteessä:

Koodia: [Valitse]
.auto_dl/edit_jobs
Koodia: [Valitse]
.auto_dl/new_jobs "http://areena.yle.fi/api/list.rss?id=1399277"  ~
Tuolle pystyy kirjoittamaan oman edustaohjelmankin joka tekee nauhoitustyömäärityksiä tai töitä voi tuolle tiputella etänäkin helposti, rakenne on yksinkertainen eli RSS-linkki muotoiltuna (korvaa kaikki kauttaviivat linkissä pystypalkilla)  + ohjelman nimi tiedostona sen alla.  

Jos tuo ylläoleva pääteohjelma (new_jobs, edit_jobs) on liian raskas niin "adl_jobs" -hakemistoon pystyy suoraan tiputtelemaan määrityksiä käsin, voi ehkä palvelimen lokiin tulla herjoja jos teet kirjoitusvirheitä tuossa :)

Koodia: [Valitse]
ls -l .auto_dl/adl_jobs
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 15.09.12 - klo:18.35
Käyttöohje Firefox: lla on kaksi kuvaa alla.  

Kuva 1:  Lisättäessä ohjelmia nauhoituslistalle pitää klikata oranssin RSS-kuvakkeen  päällä hiiren oikealla napilla.   Launchy: n menusta valitaan "Download Link with Autom.-- lisää", odotellaan hetki kun tv-ohjelmien nimet käydään hakemassa.  

Kuva 2: Hetken päästä eteen tulevasta listasta valitaan ruksimalla ne ohjelmat jotka halutaan nauhoittaa aina kun uusi jakso ilmestyy ja painetaan OK kun valmista.
Tämä lisäysvalinta toimii vain oranssin RSS-kuvakkeen päältä käytettynä mutta missä hyvänsä tuo kuvake löytyykin.  

Nykyiset voimassaolevat valinnat pääsee tarkastamaan ja valintoja myös poistamaan samaisen "Launchy" -menun kautta  "Download Link with Autom.--poista" menuvalinnasta.

Koko sarjan esilläolevien jaksojen nauhoitus tapahtuu jos avaat Areenassa ensin "SARJA" kohdasta sen ja valitset sitten siellä olevasta RSS-kuvakkeesta tuon ohjelman listalle.  
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: salai - 16.09.12 - klo:12.06
Tuo asennusskripti jättää kyllä edelleen sen ~/.auto_dl kansion rootin omaisuudeksi, mikä estää sinne kirjoittamisen ilman käsin korjausta.

Muistaessa: Gemalin Launchy.xpi:stä sellainen huomio, ettei sen install.rdf-tiedostoa ole päivitetty vuosiin, vaan siellä lukee edelleen Firefoxille <em:maxVersion>3.7a1pre</em:maxVersion>. Tuo aiheuttaa ongelmia, jos haluaa esim. laittaa uudelle (tai "vieras") käyttäjälle Firefoxin asetukset oikein /etc/skel:ää  muokkaamalla. Olen ratkaissut tuon korjaamalla käsin sen install.rdf:n.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 16.09.12 - klo:19.20
Lainaus
Tuo asennusskripti jättää kyllä edelleen sen ~/.auto_dl kansion rootin omaisuudeksi, mikä estää sinne kirjoittamisen ilman käsin korjausta.

Kiitos Salai, siellä oli jäänyt yksi muuttujan nimi päivittämättä jonka takia tuo ei korjannut omistajia lainkaan. Toimiessaan se näyttää tiedot, helppoa tarkastaa tulos. Nyt toimii tuokin.   Eli:

Kaikille:   Ajakaa asennus uudestaan niin omistajat korjaantuvat.

Laynchy:  Joo, muistan hämärästi törmänneeni tuohon kun rakensin Launchy: n globaalin asennuksen eli että ei tarvitse käyttäjäkohtaisesti sitä laittaa.  Tuo on yhdessä koneessani tehty mutta Launchy: n automaattinen globaali asennus  jäi silloin vaiheeseen pikku ongelman takia.  Sain sen niin pitkälle että käyttäjän piti vain aktivoida se Firefox: ssa käsin mutta en niin että se olisi ollut käyttäjälle aktiivisena valmiiksi ilman käyttäjän omia toimia.   Tuo globaali tausta-asennus Firefox: in lisukkeille olisi kätevä, ei tarvitsisi enää käyttäjäkohtaisesti viritellä tuota.      
Laitoin postia Launchy: n tekijälle tuosta "install.rdf" -tiedostosta.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: Illu - 16.09.12 - klo:21.30
Olisi pieni toive: Olisiko helppoa tehdä joku vipu, jolla saisi kohdekansion muutettua haluamakseen? Tai vaihtoehtoisesti asennusohjeisiin lisätä neuvo siitä, miten itse tekisi muutoksen asennusohjelmaan ennen sen käyttöä.

Tämänkaltainen automaatti voi huomaamatta täyttää pienen /homen, videot kun ovat kuitenkin aika tilaa vieviä. Kohdekansion määrittelyllä saisi hyödynnettyä erillisen datalevyn "rajattoman" tilavuuden.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: Ganymedes - 16.09.12 - klo:21.46
Nyt on verifioitu nauhoituksetkin. Lähettämäsi kuvaruutukaappaus selvitti kerralla mitä tuossa RSS-feedin klikkauksessa oikein pitäisi tapahtua.

... en tosin heti keksinyt että toimii ... minullahan ei ole "Videot" hakemistoa oletuksena, vaan "Videos" enkä huomannut muualta hakeakaan kuin "Videos" -hakemistosta ... näin valikoivasti sitä lukee ohjeita ... vähän sama kysymys kuin tuossa juuri edellä.

Jotenkin tuossa pitäisi ohjeistaa se, että kyse ei ole ainoastaan UUSISTA feedeistä, vaan kyllähän vanhatkin nauhoitetaan. Tämä asia selviää kuitenkin ruutukuvastasi, joka herätti heti, oikeita, kysymyksiä, koska siinä näkyy myös vanhoja feedejä. En ole varma onko tekstisi joka paikassa aivan oikein tässä suhteessa. No itse asiassa tuossa pari postiasi sitten sanot saman asian viimeisessä kappaleessa - jotenkin tuo uudet versus vanhat pitäisi sanoa suhteessa YLE Areenan menuihin ja ohjelman käyttötarkoituksessa todeta heti että kumpaakin voi tehdä.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 17.09.12 - klo:09.42
Kohdekansio:  
Teen tuohon parannuksen.  Olisiko teistä molemmista hyvä idea että halutun kohdekansion nimen tai vaikka koko polun voisi itse kirjoittaa editorilla jonnekin, keksitään nyt vaikka /etc/auto_dl/ autodl.cfg  ? Itse tehty valinta tuolla ajaisi yli kaiken muun.

Ohjeet:
Kaikki mahdolliset ja mahdottomat ideat tervetulleita !  Kirjoittelen tarkat ohjeet, ominaisuudet ja niiden poikkeamat kun isoimmat tekniset parannukset ja muutokset on tehty.  Toiveeni on että betatestaajat jotka ovat aika kokeneita käyttäjiä pääsevät alkuun näillä hyvin suppeilla ohjeilla.

Ohjelma näyttää tasan samat valinnat (tv-ohjelmien nimet) valintamenussaan kuin mitä YLE: n RSS-syötteessä on juuri sillä hetkellä.   Syötteet ovat kuitenkin erilaisia riippuen avaako kaikkien ohjelmien sivulta tuon vai "SARJA" -sivulta.   Ohjelma tallettaa kyseisen RSS-linkin ja toimii sen mukaan.  Sarjan RSS-syötteessä on monta jaksoa eri päiväyksillä eli sen seurauksena tulee osuma kaikista niistä tv-ohjelman jaksoista mitkä näkyvät tuolla "SARJA": n alla.    
Tuon RSS-kuvakkeen voi tuplaklikata auki Firefox: ssa jolloin voi kurkistaa mitä se syöte tarjoaa.  


Toimintaperiaate lyhyesti:

1)  Käyttäjä on tallettanut työn. "Työ" (job) tarkoittaa RSS-linkkiä  ja siihen linkkiin liittyviä tv-ohjelman nimiä.

2) Hallitseva taustaohjelma "RSS-lukijoiden pomo" (Job Manager) huomaa uuden työn ja käynnistää sille RSS-lukijan joka seuraa RSS-syötteen tapahtumia.    

3)  RSS-lukija (toinen taustaohjelma) käynnistyy ja alkaa tulkita saamiaan ohjeita.  

4) RSS-lukija tulkitsee ensisyötteen, asettaa seurantajakson ttl-muuttujan mukaiseksi ja käy suorittamaan tulkintaa käyttäjän antaman työn sisällöstä:
5)  Käyttäjä on poistanut töitä niin että jollekin RSS-lukijalle annetut työt loppuvat.  Job Manager huomaa tilanteen, tutkii mikä yksilö käynnissäolevista RSS-syötelukijoista on vastuussa ja lähettää sille sulkeutumisviestin.
6) Tarpettomaksi jäänyt RSS-lukija sulkeutuu hyvässä järjestyksessä.    

Muuta huomionarvoista:
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: Illu - 17.09.12 - klo:20.37
Kohdekansion valinnan voit mielestäni toteuttaa helpoimmalla tavalla, kunhan olisi muokattavissa. Se ei nyt ole ihan ykköstärkeä asia.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: Ganymedes - 17.09.12 - klo:20.46
Kohdekansio:  
Teen tuohon parannuksen.  Olisiko teistä molemmista hyvä idea että halutun kohdekansion nimen tai vaikka koko polun voisi itse kirjoittaa editorilla jonnekin, keksitään nyt vaikka /etc/auto_dl/ autodl.cfg  ? Itse tehty valinta tuolla ajaisi yli kaiken muun.

Tuo vaikuttaa ihan hyvältä.


Lainaus
Ohjeet:
Kaikki mahdolliset ja mahdottomat ideat tervetulleita !  Kirjoittelen tarkat ohjeet, ominaisuudet ja niiden poikkeamat kun isoimmat tekniset parannukset ja muutokset on tehty.  Toiveeni on että betatestaajat jotka ovat aika kokeneita käyttäjiä pääsevät alkuun näillä hyvin suppeilla ohjeilla.

Yep, näillä pärjätään, turha kirjoitella enempää tai turhan tarkasti ennenkuin koodi vakiintuu - tiedän kyllä kokemuksesta miten paljon työtä on muutella. Olen kommentoinut vain loppukäyttäjän ohjeiden kannalta. Kuten olet itsekin huomannut, RSS-feedien käyttöä suhteessa YLEn sivuihin kannattaa myös selventää ... ja samoin sitä miten voi kokeilla ja katsoa mitä feedeissä oikein on sisällä.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 18.09.12 - klo:13.02
Kohdekansio:
Muun tallennuskansion sijainnin tai oikeastaan kokonaisen polun voi nyt halutessaan pakottaa:

Koodia: [Valitse]
--> ~/.auto_dl/autodl.conf      käyttäjäkohtainen asetustiedosto
--> /etc/auto_dl/autodl.conf    järjestelmän laajuinen asetustiedosto

Jos talletuskansioksi halutaan vaikkapa ~/Video1 niin tuonne kirjoitellaan editorilla koko polku (ei pelkkää kansion nimeä) eli näin::

Koodia: [Valitse]
DownloadPath=/home/liisa/Video1
Tämä kansio pitää luoda itse etukäteen (jos halutaan käyttää itsemääritettyä kansiota eikä järjestelmän itse valitsemaa).  Muutos aktivoituu kun palvelimen käynnistää uudestaan:

Koodia: [Valitse]
sudo service autodld restart
Toiminnallisesti voidaan ajatella että järjestelmä lukee ensin järjestelmätason .conf -tiedoston ja perässä käyttäjäkohtaisen tiedoston.  Jos molemmat ovat olemassa jää silloin käyttäjäkohtainen voimaan.  Jos pelkästään järjestelmätiedosto on olemassa jää se voimaan ja jos ei kumpaakaan ole niin etsitään automaattisesti ~/Videos ja sen jälkeen ~/Videot -kansiota. Jos kumpaakaan ei löydy niin luodaan ~/Videot -kansio.

Lokista voi tarkastaa mikä kansio on käytössä:

Koodia: [Valitse]
cat /opt/auto_dl/logs/get_feed.log | tail
Tai mitä on nauhoitettu:

Koodia: [Valitse]
cat /opt/auto_dl/logs/recorded.log
Uudet tiedostot ovat esillä, päivitys tuon ensimmäisen viestin rimpsulla (tai haluttaessa purkamalla itse zip: in).
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: salai - 20.09.12 - klo:08.36
Minusta tämä nauhoitussysteemi toimii jotenkin epäloogisesti ja sattumanvaraisesti. Onko siis tarkoitus, että tällä nauhoitetaan vain uudet tulevat ohjelmat? Joistakin lastenohjelmista tulevat kaikki vanhatkin jaksot kun sarjan valitsee, ulkomaisista sarjoista ehkä viimeisin, yleensä ei mitään.

Eli pitääkö minun ensin käsin, yksi kerrallaan tallentaa esim. Sydämen asialla 10 jaksoa ja jättää sitten tämä palvelu odottamaan uusia? Yle-dl:stähän on jossain vaiheessa poistettu "--episodes" -kytkin, mistä en ole huomannut mainintaa missään.

EDIT: ChangeLog 9.1.2012 kertoo
"- Removed --episodes switch, all episodes on the page are downloaded"

Kuitenkin Launchyn menuissa on edelleen tuo --episodes-kytkin, enkä minä ole koskaan  nähnyt yle-dl:n lataavan kaikkia sivun episodeja - mitä tuo sivu-sana nyt tarkoittaneekaan.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 20.09.12 - klo:12.15
Minusta tämä nauhoitussysteemi toimii jotenkin epäloogisesti ja sattumanvaraisesti. Onko siis tarkoitus, että tällä nauhoitetaan vain uudet tulevat ohjelmat? Joistakin lastenohjelmista tulevat kaikki vanhatkin jaksot kun sarjan valitsee, ulkomaisista sarjoista ehkä viimeisin, yleensä ei mitään.

Eli pitääkö minun ensin käsin, yksi kerrallaan tallentaa esim. Sydämen asialla 10 jaksoa ja jättää sitten tämä palvelu odottamaan uusia? Yle-dl:stähän on jossain vaiheessa poistettu "--episodes" -kytkin, mistä en ole huomannut mainintaa missään.

EDIT: ChangeLog 9.1.2012 kertoo
"- Removed --episodes switch, all episodes on the page are downloaded"

Kuitenkin Launchyn menuissa on edelleen tuo --episodes-kytkin, enkä minä ole koskaan  nähnyt yle-dl:n lataavan kaikkia sivun episodeja - mitä tuo sivu-sana nyt tarkoittaneekaan.

Tuo "episodes" lienee vanha jäänne, voin sen poistaa menusta kun se lienee vanhentunut ominaisuus mitä en ole itsekään käyttänyt.  Jos käytetään automaattinauhuria (vai pitäisikö tätä kutsua nettidigiboxiksi ?) niin tuo on myös tarpeeton kun automaatti hoitaa sekä jo menneet että tulevat jaksot helposti.

Toiminnan logiikan selkeä selittäminen hyvässä järjestyksessä vaatii vähintään rauhallisen hetken, kupin kahvia ja pientä miettimistä.   Hetkinen...


RSS-syöte ja toimintaidea

Toimintaidea selviää ehkä helpoiten esimerkinomaisesti kun tutustuu ensin mitä YLE Areena tarjoaa RSS-kuvakkeesta kun aukaisee sen Firefox: ssa.  Merkitys ja sisältö ovat erilaisia riippuen mistä sen avaat:
1)   Jos klikkaa tuota vaikkapa  webbisivulta missä on kaikki uusimmat lasten ohjelmat niin siellä näkyy uusimpia esitettyjä ohjelmia joltakin ajan jaksolta aikajärjestyksessä taaksepäin mutta minkä nimisiä ohjelmia tahansa.    
2)  Ohjelman alla näkyy "SARJA".   Jos "SARJA": n  klikkaa ensin auki ja sieltä tuplaklikkaa auki RSS-kuvakkeen niin näkyy vain sen yhden ohjelman jaksoja mutta usein monta jaksoa eri päiviltä.

Automaattinauhuri käyttäytyy aivan 1:1 syötteen sisällön mukaan:  
1) Syötteenä "Kaikki ohjelmat":  "Pikku kakkonen" löytyy yhden kerran, nauhoitetaan se (jos ei aiemmin tehty).
2) Syötteenä "SARJA":  "Pikku kakkonen" löytyy 5 kertaa, nauhoitetaan ne (jos ei aiemmin tehty).    

Se kumman kautta tekee nauhurille valinnan vaikuttaa siis menneisyyteen:  Otetaan niin monta jaksoa kuin syötteessä on esillä.  "Uusimmat" -syöte tarjoaa sen viimeisimmän jakson, "SARJA" -syöte tarjoaa viimeisimmän ja kaikki esilläolevat sitä vanhemmat jaksot.

Tulevaisuuden kannalta asialla ei ole merkitystä:  Se uusin jakso ilmestyy molempiin syötteisiin.  Jos sama valinta on tehty kahta tietä niin se nauhoittuu silti vain yhden kerran.  Logiikka ohjelmakoodissa toimii siten että ensimmäinen prosessi joka ehtii aloittaa nauhoituksen merkitsee sen tehdyksi ja perässä tuleva prosessi huomaa sen tehdyksi ja ei tee enää uudestaan.

Ongelmatilanteet

Jo nauhoitetut ohjelmat:

Kokeilussa saattaa hämmennystä aiheuttaa se että nauhuri pitää kirjaa tehdyistä nauhoituksista kyseisen ohjelmajakson perusteella.  Samaa jaksoa ei nauhoiteta kahteen kertaan koska se on jo nauhoitettujen listalla.  Nauhoitettujen listan saa näkyviin helposti:

Koodia: [Valitse]
ls /opt/auto_dl/.auto_dl/jobs_done    

Jos haluat pakottaa uuden nauhoituksen vaikka nauhoitus on jo kerran tehty niin riittää että poistat tuolta (vaatii sudon) kyseisen ohjelma ID: n.  Jos et tiedä mikä on "Pikku kakkosen" kyseisen jakson ID niin mene Firefox: ssa hiirellä kyseisen osan päälle, se näyttaa vasemmassa alareunassa sen.   Muutos on voimassa heti mutta siihen reagoidaan vasta kun syötteen mukana tullut odotusaika (ttl) on kulunut loppuun.  Areena käyttää tuossa 15 min. jaksoa.   Jos haluat pakottaa toiminnan heti niin riittää kun poistat ohjelman nauhoitettavien listalta Launchy-menun kautta ja lisäät sitten uudestaan, tuo saa aikaan liki välittömän  (0...30 s.) syötteen tarkastuksen.

Epäjärjestykseen jäänyt asennus tms:

Varminta lienee pysäyttää taustaohjelma:

Koodia: [Valitse]
sudo service autodld stop

putsata pois vanha asennus tuolta jolloin vanha nauhoitushistoria häipyy:

Koodia: [Valitse]
sudo rm -rf /opt/auto_dl
 ja asentaa skriptillä tuoreimmat tiedostot:

Koodia: [Valitse]
wget --no-cache -r -O./asenna_autodl homelinuxpc.com/download/asenna_autodl && chmod +x asenna_autodl && ./asenna_autodl
Pitäisi toimia taas temppuilematta.  Jos vikaa silti löytyy niin etsitään ja korjaan sen.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: salai - 20.09.12 - klo:22.50
Kyllä tuossa on jotain vikaa. Vaikka miten monta kertaa poistaisin kaikki ja asentaisin uudelleen (ja tyhjentäisin välimuistinkin bleachbitillä), eivät ainakaan sarjat:

Solsidan: http://areena.yle.fi/api/search.rss?id=935208&media=video&sisalto=ohjelmat
Sydämen asialla: http://areena.yle.fi/api/search.rss?id=1629764&media=video&sisalto=ohjelmat
lataudu ollenkaan autoloaderilla, kyllä jaksoittain.

Sen sijaan
Vanha suola janottaa: http://areena.yle.fi/api/search.rss?id=1336242&media=video&sisalto=ohjelmat
toimii joka kerta, kuten testaamani lastenohjelmat.

Pari kertaa on tullut tuollainen failure.log:
Koodia: [Valitse]
2012-09-20 04:05:57 +0300 Domain areena.yle.fi: ;; connection timed out; no servers could be reached
2012-09-20 04:05:59 +0300 Domain areena.yle.fi: ;; connection timed out; no servers could be reached
2012-09-20 22:18:46 +0300 Domain areena.yle.fi: ;; connection timed out; no servers could be reached
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: mrl586 - 21.09.12 - klo:02.56
Eli pitääkö minun ensin käsin, yksi kerrallaan tallentaa esim. Sydämen asialla 10 jaksoa ja jättää sitten tämä palvelu odottamaan uusia? Yle-dl:stähän on jossain vaiheessa poistettu "--episodes" -kytkin, mistä en ole huomannut mainintaa missään.
Sarjan jaksot (ei välttämättä kaikkia) saa ladattua kopioimalla kyseisen sarjan osoitteen yle-dl -komennon perään.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 21.09.12 - klo:10.03
Kyllä tuossa on jotain vikaa. Vaikka miten monta kertaa poistaisin kaikki ja asentaisin uudelleen (ja tyhjentäisin välimuistinkin bleachbitillä), eivät ainakaan sarjat:

Solsidan: http://areena.yle.fi/api/search.rss?id=935208&media=video&sisalto=ohjelmat
Sydämen asialla: http://areena.yle.fi/api/search.rss?id=1629764&media=video&sisalto=ohjelmat
lataudu ollenkaan autoloaderilla, kyllä jaksoittain.

Sen sijaan
Vanha suola janottaa: http://areena.yle.fi/api/search.rss?id=1336242&media=video&sisalto=ohjelmat
toimii joka kerta, kuten testaamani lastenohjelmat.

Pari kertaa on tullut tuollainen failure.log:
Koodia: [Valitse]
2012-09-20 04:05:57 +0300 Domain areena.yle.fi: ;; connection timed out; no servers could be reached
2012-09-20 04:05:59 +0300 Domain areena.yle.fi: ;; connection timed out; no servers could be reached
2012-09-20 22:18:46 +0300 Domain areena.yle.fi: ;; connection timed out; no servers could be reached


Lainaus
Solsidan...
Sydämen asialla...
Bugi. Tutkin aiheuttajan ja korjaan.  Pika-arvioinnin lokien perusteella tein näin:
1) Lisäsin RSS-linkkisi.
2) Näkyykö nauhoituslokissa ?  Ei.
3) Näkyykö syötelukijan lokissa käynnissä? Kyllä.
--> Mahdollisesti ohjelmanimen tunnistusvirhe.  Tutkitaan.


Odotellessa, lisäsin tutkimista varten tältä foorumilta suoraan nauhuriin nuo linkkisi.  Nuohan ovat Areenan RSS-linkkejä jotka laitoit esimerkkinä eli ne voi lisätä täältäkin suoraan nauhuriin hiiren oikealla.  Käyttökelpoinen ominaisuus joissakin tilanteissa.    

(Klikkaa kuvaa alla ja vieritä oikea reuna näkyviin)
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 21.09.12 - klo:13.06
Lainaus
Solsidan...
Sydämen asiaa...

Löytyihän se aiheuttaja (välilyönti jäänyt roikkumaan merkkijonon loppuun), korjattu ja uudet tiedostot esillä.


Edit 24.9.2012:
Tuo "connection timed out; no servers could be reached" on yleinen "aika kului loppuun, kukaan ei vastannut mitään" -ilmoitus.   Ohjelma loggaa tarkemman syykoodin jos yhteys YLE Areenan webbipalvelimeen syntyy ja webbipalvelin lähettää syykoodin.

Kiitos palautteesta ja lisää tulemaan jos jokin ei näytä toimivan kuten odottaisi tai jokin asia on hämärä !     Tuollainen mallitilanne missä vian saa esiin on erinomainen, pystyn jäljittämään aika helposti tuolla vikakohdan ohjelmakoodin joukosta.

Kiinnostaa myös jos joku on asentanut tämän toimimaan ihan muualla kuin Ubuntu/Mint/Debian -koneessa.  
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: salai - 24.09.12 - klo:10.03
Kiitos, nyt toimi perjantaina iltapäivällä kaikkien Sydämen asialla vanhojenkin jaksojen automaattinen lataus.

Kun lauantaiaamuna käynnistin koneen (Peppermint Three), latasi se automaattisesti edellisen illan jakson. Nimi oli kuitenkin nyt "Syd?men asialla (7)-2012-09-21T17:08:00.flv". Onkohan ääkkösten koodauksessa eroa eri tilanteissa?

EDIT:
Onhan tuossa ääkkösten kanssa todella virhe: Lentävät lääkärit (7) Sarjassa (http://areena.yle.fi/tv/1088419) kaikki äät tulevat tiedostojen nimiin nyt kysymysmerkkeinä.
Nyt oli käytössä Peppermint Two (Ubuntu 11.04:ään pohjautuva).

Logissa luki kuitenkin:
Koodia: [Valitse]
2012-09-24 10:19:45 +0300  Start: Lentävät lääkärit (7): 24.09.2012 08.50 http://areena.yle.fi/tv/1111411 --> /home/areena/Videot
EDIT2: Joo, auto_dl ei ymmärrä ääkkösiä, mutta suora lataus yle-dl:llä ymmärtää. Kokeilin tuota sarjalla Viimeistä päivää (16): Jaksot (2) (http://areena.yle.fi/tv/1638815).
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 24.09.12 - klo:12.44
Muutin hieman "yle-dl": n kutsua, "yle-dl" ei pitänyt kun kutsuin sitä alkuaan niin että linkkimuuttuja oli lainausmerkeissä.

Korjattu versio on esillä.

Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: salai - 24.09.12 - klo:13.54
Kiinnostaa myös jos joku on asentanut tämän toimimaan ihan muualla kuin Ubuntu/Mint/Debian -koneessa.  
Raspberry Pi:ssä pyörivään OpenELEC (http://openelec.tv/):iin kokeilin jo asentaa, mutta siihen ei saa lisättyä muita (Debianin) palikoita kuin XBMC:n addoneita. Sinänsä auto_dl olisi juuri sopiva lisäosa XBMC:hen, koska tämä näköjään pystyy toistamaan nuo Areenan talletetut flv-tiedostot tekstityksineen ihan semmoisenaan - ei tarvitse Raspberryynkään ostaa lisäkoodekkeja tai muuttaa srt-tiedostojen nimiä. Lieneekö miten vaikeaa noiden addoneitten rakentelu?

Toisaalta ei se ole iso vaiva kopioida OpenELECissä pyörivän samban kautta, suoraan SD-kortille tai Rasberryyn liitettävälle kovalevylle/usb-tikulle niitä tiedostoja.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: Ganymedes - 25.09.12 - klo:19.11
Kokeilin Auto_DL:ää uutena asennuksena Ubuntu 11.04 64-bit koneessa. Kaikki näyttäisi toimivan mukaanlukien asennus ja skandit.

Oikeasti tässä asennuksessa ei ole montaa kohtaa mutta ohjeet ovat pitkät ja kahdessa paikassa. Pitäisikö tehdä (sitten joskus) pikaohje hätäiselle loppukäyttäjälle? Tyyliin:

--------------------
1. asenna DLL paikasta "xyz" ajamalla scriptiä
2. asenna menut paikasta "xyz" ajamalla toista scriptiä

3. asenna autodl tällä komennolla :"...."
4. käynnistä Firefox uudelleen

5. käytä klikkaamalla hiiren oikealla napilla RSS-feediä, valitse Launchy menusta tämä "xyz", jolloin saat tällaisen menun (tähän kuva)
6. valitse siitä mitä haluat nauhoittaa ja Paina OK

Odota hetki, niin hakemistoon "se ja se" alkaa tulla nauhoitettuja videoita.

Vinkki: Jos haluat ne johonkin muuhun hakemistoon, niin luo tällainen tiedosto "tänne ja tänne". Käynnistä audodl service uudelleen tällä komennolla.

Vinkki2: Pidempi tarina on "täällä". Hae sieltä lisätietoja jos asia jäi epäselväksi.
-----------------

Jotain tällaista? Alentaisi ainakin kynnystä alkaa käyttämään tätä ... luulisin ...

Mainio ohjelma!
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 26.09.12 - klo:16.04
Lainaus
......Jotain tällaista? Alentaisi ainakin kynnystä alkaa käyttämään tätä ... luulisin ...

Mainio ohjelma!

Pika-asennus

Tässäpä tulee pika-asennusohje jolla useimmat saavat Auto DL: n toimintakuntoon aika helposti kun vain tekee kunkin vaiheen järjestyksessä peräkkäin.   Pääte ensin käyntiin Ctrl-Alt-T ja kopioi sinne kunkin pitkän rimpsun kokonaisena.  

1. YLE Areenan "yle-dl"-latauksen asennus :
Koodia: [Valitse]
wget --no-cache -r -O./asenna_yle-dl.bash homelinuxpc.com/download/asenna_yle-dl.bash && chmod +x asenna_yle-dl.bash && ./asenna_yle-dl.bash
2. YLE Areenan "Launchy"-menujen asennus Firefox-selaimeen:
Koodia: [Valitse]
wget --no-cache -r -O./asennamenut.bash homelinuxpc.com/download/asennamenut.bash && chmod +x asennamenut.bash && ./asennamenut.bash
3. YLE Areenan "Auto DL"-automaattinauhoituksen asennus:
Koodia: [Valitse]
wget --no-cache -r -O./asenna_autodl homelinuxpc.com/download/asenna_autodl && chmod +x asenna_autodl && ./asenna_autodl
4.  Käynnistä Firefox uudestaan jos se oli käynnissä. Auto DL -valinnat näkyvät "Launchy" -menussa vasta sen jälkeen.

Kommentit
1) Asennus kyselee joissakin kohdissa salasanan, samoin Firefox: ssa pitää hyväksyä että "Launchy" asennetaan ja sulkea Firefox lopuksi.  Asennuksen pitäisi olla aika selkeä ja helppo niissä Linuxeissa missä "sudo"  ja .deb-paketointi on käytössä ( Ubuntu, Mint 13), muissa voi joutua soveltamaan tai asentamaan eri tavalla.

2) Ylläolevat kohdat 1. ja 2. pystyy halutessaan tekemään hieman hitaammallakin tavalla tutun ohjeen mukaisesti:

http://www.homelinuxpc.com/download/Areenan_nauhoituksen_asennus.html (http://www.homelinuxpc.com/download/Areenan_nauhoituksen_asennus.html)
 
Tarkempi asennusohje samoin kuin käyttöohje tulee myöhemmin.


Toiminnan tarkastaminen

Kirjoita päätteeseen:
Koodia: [Valitse]
sudo service autodld statusVastaukseksi pitäisi näkyä:
* autodld is running

Taustaohjelma on tuolloin käynnistynyt ja valmis ottamaan vastaan nauhoitustehtäviä.   Kokeillaan seuraavaksi laittaa jotain nauhoitettavaksi Areenasta:

1) Avaa YLE Areena Firefox: ssa
2) Etsi sieltä jokin oranssi RSS-kuvake (kuva liitteenä alla).
3) Klikkaa RSS-kuvaketta hiiren oikealla napilla, valitse "Launchy" ja sieltä "Download Link with Autom. --lisää".  Odota hetki ja eteesi tulee ohjelmalista.
4) Ruksaa listalta jokin ohjelma ja tallenna valintasi painmalla "OK".
5) Odottele hetki ja tv-ohjelman pitäisi alkaa latautua "Videot" -kansioon.
6) Tästä eteenpäin aina kun uusi tv-ohjelman jakso ilmestyy Areenaan se löytyy "Videot" kansiostasi.
 
Täällä näkyy tarkemmin miten nauhoitusvalinnan pitäisi näkyä Firefox: ssa
http://forum.ubuntu-fi.org/index.php?topic=43484.msg335166#msg335166 (http://forum.ubuntu-fi.org/index.php?topic=43484.msg335166#msg335166)      

Haluttaessa tallennuskansion "Videot" muuttaminen onnistuu myös:
http://forum.ubuntu-fi.org/index.php?topic=43484.msg335366#msg335366 (http://forum.ubuntu-fi.org/index.php?topic=43484.msg335366#msg335366)
 
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: Illu - 26.09.12 - klo:20.43
Hyvin asentui (tarkasti päätteellä kopioi/liitä-menetelmällä) ja valittujen ohjelmien jaksot tallentuvat siististi itsevalittuun kansioon. Tallenteiden omistus vaan on rootilla, ei käyttäjällä. Mistäköhän moinen?

Muutetun tallennuskansion asetus on laitettu sekä kotikansioon ja /etc/auto_dl -kansioon.


Edit: Ja ikkuna, johon ruksitaan haluttu syöte, on puolitoista näyttöä korkea. Ok-nappia varten pitää ikkunaa pienentää yläreunasta alaspäin ja sitten nostaa ikkunaa (tai avustaa kursoria alt-näppäimellä).
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: Ganymedes - 26.09.12 - klo:20.51
...
Tallenteiden omistus vaan on rootilla, ei käyttäjällä. Mistäköhän moinen?
...

Niinpä tosiaan näyttäisi käyvän uudemmille tallenteille. Vanhemmat ovat oikein (ennen 25. päivää).

Tuo ohje on juuri sellainen mitä ajoin takaa. Vielä kun saisi tämän ohjeen ketjun ensimmäiseksi postiksi, ylläpidettyä sitä ensimmäisenä postina ketjussa ja sitten tekisi tämä postin "sticky" muotoon (jotta pysyy paikallaan) - vaikkapa Multimedian alle. Siitä olisi sitten helppo löytää ja siihen olisi helppo viitata kun joku kysyy. Tarkoitan sitten kun betatestaus on ohi.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 27.09.12 - klo:10.57
Lainaus
Hyvin asentui (tarkasti päätteellä kopioi/liitä-menetelmällä) ja valittujen ohjelmien jaksot tallentuvat siististi itsevalittuun kansioon. Tallenteiden omistus vaan on rootilla, ei käyttäjällä. Mistäköhän moinen?

Muutetun tallennuskansion asetus on laitettu sekä kotikansioon ja /etc/auto_dl -kansioon.

Silloin kun nauhoitus halutaan tallettaa erikseen kunkin käyttäjän omaan "Videot" -kansioon on tilanne selkeä mutta jos nauhoitus halutaan systeeminlaajuisesti johonkin yhteen ainoaan paikkaan mutta välillä nauhoituksia tulee Matilta ja toisella kertaa Maijalta niin mikä omistaja/ryhmä oikeastaan halutaan itse kansiolle ja sinne meneville (eri käyttäjien) nauhoituksille ?  
Idea yhdestä ainoasta talletuskansiosta kaikille käyttäjille on hyvä siinä mielessä että tuon kansion voi helposti laittaa jakoon vaikka jollain webbipalvelimella (Apache, tms.) jolloin nauhoitettuja ohjelmia voi helposti katsella miltä hyvänsä kodin tietokoneelta ja niitä ei voi vahingossa poistaa kun katselee webbiselaimella.

Edit
Itselläni kokeessa se palautti omistajan oikein vaikka muutin kansion kotihakemistoni alla "Video2": ksi.

Lainaus
Edit: Ja ikkuna, johon ruksitaan haluttu syöte, on puolitoista näyttöä korkea. Ok-nappia varten pitää ikkunaa pienentää yläreunasta alaspäin ja sitten nostaa ikkunaa (tai avustaa kursoria alt-näppäimellä).
Tuo riippuu näytön tarkkudesta, FullHD-näytöllä tuo ikkuna näkyy kokonaan mutta jollain läppärin näytöllä se voi olla hankala.  Pitäisiköhän tuokin laittaa .conf-tiedostoon niin sen voi itse säätää miksi haluaa ja pienentää vielä tuo oletuskorkeus läppärille sopivaksi ?
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: Illu - 27.09.12 - klo:11.34
Omistukseen ei vaikuttanut, vaikka conffeihin muutti sen tiedostoksi alkuperäiseen vaihtoehtoon "Videot". Lieneekö tuosta muuten haittaa, kuin tiedostomuodon muutoksessa? Flv->mp3 muunnoksessa muutetun jakson omistus ainakin tulee käyttäjälle. Ja kopiointi erilliselle data-levylle antoi myös omistuksen käyttäjälle. Videopuolen toiminnoista en tiedä, kun en niitä tallentele.

Minulla on 1280x1024 kokoinen näyttö, jossa juurikin ilmenee tuo syötteen valintaikkunan iso koko. Siihen ei nyt mielestäni kannata panna paukkuja, kyllä sen kanssa tulee toimeen, ei niitä valintoja niin kovin taajaan tarvitse tehdä.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 27.09.12 - klo:12.42
Lainaus
Omistukseen ei vaikuttanut, vaikka conffeihin muutti sen tiedostoksi alkuperäiseen vaihtoehtoon "Videot".

Kurkistin koodiani, se etsii nauhoituksen lopuksi kyseisen käyttäjän kotihakemiston alta sellaisia "Video?" hakemistoja joissa on "root": in omistamia tiedostoja ja osuman tullessa palauttaa ne kyseiselle käyttäjälle.   Se ei toistaiseksi etsi niitä muualta kuin polusta "~/Video?",  tuossa merkki "~" tarkoittaa kotihakemistoa ja tuo "Video?" voi olla mikä hyvänsä "Video"-alkuinen, Videot, Videos, Video1,...  mutta tasan tuon pituinen (6 merkkiä).

Onko tallennuskansio oman kotihakemistosi alla ? Toimiiko se haluamallasi tavalla jos et lainkaan määritä tallennuskansiota itse vaan annat Auto DL: n löytää automaatilla tallennuskansion kotihakemistosi alta ?  Asia hieman arvuuttelee kun en saanut sitä ongelmaa esiintymään kokeessani eli omistaja tuli lopuksi oikein vaikka käytin itsenimettyä tallennuskansiota.

Edit
Kokeilin näin:  "gedit  .auto_dl/autodl.conf", laitoin sinne "DownloadPath =/home/arto/Video2", "sudo service autodld restart", koenauhoitus "Noksu" lastenohjelmista, muutti omistajan aivan oikein nauhoituksen lopuksi.   Kuva tuossa alla:
  
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: Ganymedes - 27.09.12 - klo:15.06
Testausraporttia 10.10 koneelta johon asensin tämän uutena asennuksena 24.9 (josta päiväyksestä lähtien on tallennuksia).:

Rootin omistukseen menee tällä koneella 27.9. tallennetut (myöhempiä ei ole). Group on oikein mutta owner on root.

Dialogi josta edellä puhuttiin, on liian iso sekä tällä 1920x1200 näytöllä että toisen koneen 1920x1060 näytöillä (molemmissa Unity, joka sallisi hieman isommankin dialogin kuin Gnome 2 tai muutkin).

Skandit ovat väärin 26. ja 27. päivän nauhoituksissa, mutta edellisissä oikein.

Auttaako tämä virheen metsästyksessä - vai sekoittaa vielä lisää? :)
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: salai - 27.09.12 - klo:16.17
Mihinkä kohtaan tässä auto_dl:ssä laitetaan se --vfat -kytkin? Sambahan rupeaa jakamaan tiedostoja heti latauksen alettua, mutta nimet tulevat samba-clientissä väärin niitten kaksoispisteitten takia.

Tekstityskin nimittäin toimii samban kautta sekä vlc:ssä että gnome-mplayerissä suoraan noilla Yleltä tulevilla tiedostonimillä (siis jos niistä saa ne väärät merkit automaattisesti pois).
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 27.09.12 - klo:16.36
Lainaus
....uutena asennuksena 24.9......

Paljon on tapahtunut tuon jälkeen jo moneen kertaan, kannattaa putsata "/opt/auto_dl" tyhjäksi (ei pakko tyhjätä, nauhoitushistoria häipyy mutta varma tapa että kaikki on järjestyksessä)  ja pyöräyttää pika-asennusohjeen 3. kohta jolloin pitäisi olla ajantasalla --- tähän aamuun asti.  Tänään on nimittäin kirjoitettu uutta koodia joka korjaa ikkunakoon, oletuskoko on nyt pienempi ja sekin tulee pian säädettäväksi --> autodl.conf, voi säätää itse aukeavan ikkunan korkeuden ja leveyden, saan illemmalla tuon varmaan valmiiksi ja esille.

Lainaus
Mihinkä kohtaan tässä auto_dl:ssä laitetaan se --vfat -kytkin? Sambahan rupeaa jakamaan tiedostoja heti latauksen alettua, mutta nimet tulevat samba-clientissä väärin niitten kaksoispisteitten takia.

Järjestän sille paikan.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: Illu - 27.09.12 - klo:17.45
Lainaus
Omistukseen ei vaikuttanut, vaikka conffeihin muutti sen tiedostoksi alkuperäiseen vaihtoehtoon "Videot".

Kurkistin koodiani, se etsii nauhoituksen lopuksi kyseisen käyttäjän kotihakemiston alta sellaisia "Video?" hakemistoja joissa on "root": in omistamia tiedostoja ja osuman tullessa palauttaa ne kyseiselle käyttäjälle.   Se ei toistaiseksi etsi niitä muualta kuin polusta "~/Video?",  tuossa merkki "~" tarkoittaa kotihakemistoa ja tuo "Video?" voi olla mikä hyvänsä "Video"-alkuinen, Videot, Videos, Video1,...  mutta tasan tuon pituinen (6 merkkiä).
 
Tuo kuusikirjaiminen kansio ratkaisi omistuksen kuntoon. Mutta nyt muuttuivat ääkköset kysymysmerkeiksi.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 27.09.12 - klo:20.55
Lainaus
ääkköset kysymysmerkeiksi
Onko viimeisin versio käytössä ?  

Ikkunakoko

Pienensin ikkunakoon oletusarvon ja lisäsin säätömahdollisuuden.   Nyt voi tuonne --> .auto_dl/autodl.conf   kirjoitella haluamansa ikkunakoon:

WindowHeight=700
WindowWidth=400


Pitäisi toimia myös systeeminlaajuisena (/etc/auto_dl/autodl.conf).  En ehtinyt testata vielä täydellisesti mutta näkyisi ikkuna säätyvän. Risuaidalla rivin alussa voi tavalliseen tapaan kommentoida pois rivin jota ei halua käyttää. Paransin myös käyttäjäloggausta kertomaan enemmän tapahtumista (katso .auto_dl/logs).

Uudet ohjelmat esillä.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: salai - 27.09.12 - klo:23.33
Viimeisimpään versioon on ilmeisesti livahtanut bugi: se ei enää hyväksy lainkaan /etc/auto_dl/autodl.conf-tiedostoa. Eli globaalia asetusta ei voi tehdä edes tallennuskansion osalta.

Koodia: [Valitse]
custom@custom-w8 ~ $ .auto_dl/edit_jobs
2012-09-27 23:15:51 +0300 Start complete.
2012-09-27 23:15:51 +0300 Using system defined WindowHeight: /home/Videot
2012-09-27 23:15:51 +0300 Using system defined WindowWidth: /home/Videot
Tämä valitsin ei ole käytettävissä. Katso lista sallituista valitsimista valitsimella --help.
2012-09-27 23:15:51 +0300 Nothing removed.

Virheilmoitus katoaa, jos tiedoston siirtää .auto_dl:ään. 
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: Illu - 28.09.12 - klo:08.26
Lainaus
ääkköset kysymysmerkeiksi
Onko viimeisin versio käytössä ?  

Pienensin ikkunakoon oletusarvon ja lisäsin säätömahdollisuuden.   Nyt voi tuonne --> .auto_dl/autodl.conf   kirjoitella haluamansa ikkunakoon:

WindowHeight=700
WindowWidth=400


Keskiviikkoillan versio on käytössä. Mistä versionumeron helposti kurkkaa?

Ikkunakokoon ei ollut vaikutusta noilla em. lisäyksillä.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 28.09.12 - klo:10.20
Ikkunakoon muutos on vasta eilisillan (27.9) käyttäjäohjelmien (new_jobs/edit_jobs) versiossa v1.1 eli ei pidäkään toimia sitä ennen (ja uusimmalla versiolla).

Versiotarkastukseen ei ole vielä yhtä kätevää keskitettyä tapaa, kunkin ohjelman osan versio etenee kun uusia ominaisuuksia tai muutoksia tulee.  Näet oleellisimman versiohistorian tällä hetkellä melko pitkälle näin:

Uusien ohjelmien lisäys nauhoitukseen:
Koodia: [Valitse]
cat .auto_dl/new_jobs | grep V1.

Nykyinen nauhoituslista ja poistaminen sieltä:
Koodia: [Valitse]
cat .auto_dl/edit_jobs | grep V1.
RSS-syötelukija:
Koodia: [Valitse]
cat /opt/auto_dl/get_feed | grep V1.


Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 28.09.12 - klo:10.26
Viimeisimpään versioon on ilmeisesti livahtanut bugi: se ei enää hyväksy lainkaan /etc/auto_dl/autodl.conf-tiedostoa. Eli globaalia asetusta ei voi tehdä edes tallennuskansion osalta.

Koodia: [Valitse]
custom@custom-w8 ~ $ .auto_dl/edit_jobs
2012-09-27 23:15:51 +0300 Start complete.
2012-09-27 23:15:51 +0300 Using system defined WindowHeight: /home/Videot
2012-09-27 23:15:51 +0300 Using system defined WindowWidth: /home/Videot
Tämä valitsin ei ole käytettävissä. Katso lista sallituista valitsimista valitsimella --help.
2012-09-27 23:15:51 +0300 Nothing removed.

Virheilmoitus katoaa, jos tiedoston siirtää .auto_dl:ään.  

Tutkitaan..... tuo pyytämäsi "--vfat" on myös valmistelussa.

No nyt korjattu, oli  uudelle ominaisuudelle rakennetta muutettaessa jäänyt yksi muuttuja päivittämättä...  Käynpä seuraavaksi rakentamaan uutta ominaisuutta "--vfat".
 
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: Ganymedes - 28.09.12 - klo:16.23
Kokeilin puhtaalta pöydältä (sekä /opt että /home/kayttaja/.auto_dl  tyhjäksi ensin) ja kaikki nuo löytämäni ongelmat näyttivät korjaantuneen. Paitsi että rootti omistaa syntyneet videot, ryhmä on oikein mutta sillä on vain lukuoikeus. Tämä ei tietenkään ole ongelma minulle mutta loppukäyttäjälle voi olla.

Ikkunankoko on hyvä, mutta en kokeillut konfata sitä. Videot menevät käyttäjäkohtaisesti muualle - se toimii.

Järjestelmän puhdistus varmaan vaatii myös loppukäyttäjän ohjeen - koska tuo opt:kin pitää tyhjentää ja servicet sammuttaa jms. Sinänsä tuo optin tyhjennys on tosi vaarallinen temppu tottumattomalle ... pieni kirjoitusvirhe ja jotain muuta lähtee kuin opt - siinähän on mukana myös " * " ja " f " ja myös " r " ... huippuvaarallista  :)
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 28.09.12 - klo:18.23
Lainaus
Käynpä seuraavaksi rakentamaan uutta ominaisuutta "--vfat".

Ominaisuus toteutettu ja toi mukanaan yhden uuden asetuksen (systeemi/käyttäjäkohtainen asetus pitäisi toimia):

UseWinFilenames=yes

Oletusarvo on "no" jos tuota ei ole asetettu tiedoston kautta (tai kommentoitu pois tai arvo jotain muuta kuin "yes/no").

Tuo toimii vain tänään kirjoitetulla koodilla, laitoin juuri esille. Säädin lokitiedostoon kirjoittelun myös hieman monisanaisemmaksi.

Lainaus
Järjestelmän puhdistus varmaan vaatii myös loppukäyttäjän ohjeen...
Se ei jää ollenkaan tuolla tavalla loppukäyttäjille vaan niin että virhemahdollisuutta ei ole.  Olemme vielä siellä kokeneiden käyttäjien beta-testausvaiheessa  :)
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: Illu - 29.09.12 - klo:16.59
No niin. Nyt on sitten "tullut kokeiltua" sitä sun tätä ja tuloksena on ,ettei hiiren oikea näpy anna enää valikkoa, josta voisi lisätä tai muokata valittuja. Juu, on kokeiltu poistaa kaikkea aiheeseen liittyvää ja asentaa uudestaan koko kuvio (ohjeen mukaisessa järjestyksessä). Yle-dl toimii kyllä mutta mikään automaattinen ei (siksi utelias säätely alkoikin), eikä se valikko. Mites nyt edetään?

Edit: Jaa uudelleenkäynnistys (ilmeisesti) toi valikon. Ja valintaikkunan koko toteutuu halutulla tavalla. Vaikka autodl.conffia ei ole koneella...
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: Ganymedes - 29.09.12 - klo:21.49
Sanoisin, että:

- sammuta palvelu
- poista kaikki. Muista myös /opt/auto_dl

Ala asentamaan pikaohjeen mukaan, mutta katso virheilmoitukset Terminaalista läpi. Lopuksi pitää itse osata käynnistää Firefox uudestaan - muuten auto_dl:n menut eivät näy.

Valintaikkunan koko on korkeudeltaan nyt sopivan kokoinen oletuksena (normaaleilla näytöillä).
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 01.10.12 - klo:19.38
Nyt helpottui sekä version että käyttäjän itse tekemien asetusten tarkastaminen.  Kirjoittelin asennuksen ja käyttäjäasetusten tarkastajan "adl_chk".  Lisäsin tuon myös itsekseen pyörähtämään kerran asennuksen lopuksi.  
Viimeisimmän version asennuksen jälkeen pystyy tuolla pintapuolisesti tarkastaman asennuksen. Samoin jos teet käyttäjäkohtaisen tai järjestelmän laajuisen "autodl.conf" -tiedoston niin sen vaikutuksen näkee.  

Koodia: [Valitse]
.auto_dl/adl_chk
Checking Auto DL setup:
Background:
    System-V Init     v1.0
    Job Manager     v1.02
    Feed Reader     v1.23
    TSV Converter     v1.0
Foreground:
    Job Maker     v1.12
    Job Editor     v1.14
    TSV Converter     v1.0
    Setup Check     v1.0

Configuration:
    Default DownloadPath=/home/arto/Videot
    Default WindowHeight=600
    Default WindowWidth=400
    Default UseWinFilenames=no
    System autodl.conf found.
    User autodl.conf found.



Se kirjoittaa tasan saman myös "adl_chk.log" -tiedostoon jos tuolle antaa " miinus L-kirjain" perään (saa olla pieni tai iso):

Koodia: [Valitse]
.auto_dl/adl_chk -L
Ohjelma tarkastaa tiedostojen olemassaolon ja kunkin version sekä käy tulkitsemassa autodl.conf tiedostot näyttäen niiden vaikutuksen.  Ylläolevassa esimerkissä "autodl.conf" on kahdessa paikassa  olemassa mutta määritykset niissä on kommentoitu pois vaikuttamasta risuaidoilla '#'.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 03.10.12 - klo:10.07
Lainaus
Valintaikkunan koko on korkeudeltaan nyt sopivan kokoinen oletuksena (normaaleilla näytöillä).
Hyvä, jätetään ne oletusarvot sitten sellaiseksi.  

1)  Miten tuo ladattujen tiedostojen omistaja, onko siinä esiintynyt edelleen ongelmaa ?  Liittyykö tämä siihen että oletuksena oleva "Videot/Videos" -kansio on vaihdettu (ja minne)  ?   Ohjelman toimintatavasta, latausvaiheessa ohjelma tippuu aina ensin "root" omistajalle. Kun lataus on päättynyt ohjelma käy perässä korjaamassa omistajan sille käyttäjälle jonka kotikansion alla tuo "Videot/Videos/ tms." on.

2) Onko "--vfat" -toteutus sellainen kuten toivottiin ?

3)  Loppuun miettimättä ja toteuttamatta on edelleen omistajuus/ryhmä/oikeusjärjestelyjen kannalta tilanne jossa latauskansio muutetaan jonnekin aivan muualla (ei enää kunkin käyttäjän kotikansion alla)  yhteen ainoaan paikkaan kaikille ja sinne tippuu Matin, Maijan, Liisan ja Villen tiedostoja.  Jossain tilanteessa kaikkien pitäisi nähdä toistensa tiputtamat ohjelmat (kun ohjelma on kerran tiputettu se ei tipu uudestaan toisellekaan käyttäjälle --- levytilan säästö). Toisessa tilanteessa kaiken näkyminen kaikille ei ole toivottavaa (lasten ohjelmat / aikuisten ohjelmat tms.).    Ideoita ?  Ideaalinen rakenne ?

    
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: Ganymedes - 03.10.12 - klo:10.33
1)  Miten tuo ladattujen tiedostojen omistaja, onko siinä esiintynyt edelleen ongelmaa ?  Liittyykö tämä siihen että oletuksena oleva "Videot/Videos" -kansio on vaihdettu (ja minne)  ?   Ohjelman toimintatavasta, latausvaiheessa ohjelma tippuu aina ensin "root" omistajalle. Kun lataus on päättynyt ohjelma käy perässä korjaamassa omistajan sille käyttäjälle jonka kotikansion alla tuo "Videot/Videos/ tms." on.

Kyllä kaikki uudemmat, jostakin syyskuun lopun päivämäärästä lähtien jolloin viimeksi tein asennuksen (päiväykset löytyvät posteistani jos kiinnostaa) omistaja on aina "root".

Paikka mihin on muutettu, tälle yhdelle käyttäjälle vain, on esim. (muitakin koneita on ollut testissä):
"/data5/home5/data/YleVideos" . Ja kyllä, tämä hakemisto on omistajalla ja siihen on oikeudet. Joissakin yli viikon ikäisissä on oikeakin omistaja (siis nauhoitettu sen aikaisilla ohjelmaversioilla).


Lainaus
3)  Loppuun miettimättä ja toteuttamatta on edelleen omistajuus/ryhmä/oikeusjärjestelyjen kannalta tilanne jossa latauskansio muutetaan jonnekin aivan muualla (ei enää kunkin käyttäjän kotikansion alla)  yhteen ainoaan paikkaan kaikille ja sinne tippuu Matin, Maijan, Liisan ja Villen tiedostoja.  Jossain tilanteessa kaikkien pitäisi nähdä toistensa tiputtamat ohjelmat (kun ohjelma on kerran tiputettu se ei tipu uudestaan toisellekaan käyttäjälle --- levytilan säästö). Toisessa tilanteessa kaiken näkyminen kaikille ei ole toivottavaa (lasten ohjelmat / aikuisten ohjelmat tms.).    Ideoita ?  Ideaalinen rakenne ?

Mielestäni tiedostojen käsittely nauhoituksen jälkeen voisi olla jokaisen oma asia. Esim.:
- henkilökohtainen tallennus omaan hakemistoon
- siirtäminen sieltä yhteiseen hakemistoon oman logiikkansa mukaan
TAI
- siirtäminen kokonaan toisella laitteelle katselu varten (esim. Maxell Android tabletille, 8", näyttää näitä hyvin tekemättä mtään. Käytännössä käytän USB-tikkua tabletin kyljessä)

Tietysti joku fiksu ohjelma auttaisi tällaisessa tiedostojen siirrossa tai kopioinnissa, mutta se voisi olla kokonaan oma juttunsa. Muutenhan tämä on helppoa tehdä, mutta se, että jos service ei ole pysäytetty, voi kopiointi jäädä vajaaksi. Ja kun massaa on paljon, ei se sitten enää ole niin yksinkertaista, jos ei osaa käyttää esim. rsync:iä. Tietysti sekin että skandit puuttuvat (joistakin tiedostoista), aiheuttaa omat hankaluutensa kun tiedostoja vertailee.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: Illu - 03.10.12 - klo:11.46
Uusi asennus ke 3. lokakuuta ja autodl.confissa tallennus asetettuna eri kansioon (minulla "ylelataukset") jättää omistuksen rootille. Pitäisikö myös System autodl.conf asettaa?

Ikkunan koko on hyvä.

Loppusijoituspaikkaa varten voisi tarvittaessa (osaava) tehdä erikseen jonkin koodinpätkän (ainakin tässä vaiheessa). Kunhan tallennuskansion toiminta asettuisi mallilleen.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: salai - 03.10.12 - klo:16.01
Tää on kyllä aika hyvässä mallissa nyt, mistä suuri kiitos ajaaskelelle.

Sain juuri valmiiksi sellaisen remasteroidun usb-tikun, jossa käynnistys tapahtuu tikun kakkospartitiolta ja ohjelmien tallennus isommalle fat32 ykköspartitiolle.

Koodia: [Valitse]
Configuration:
System defined DownloadPath=/media/AREENA/
System defined WindowHeight=600
System defined WindowWidth=400
System defined UseWinFilenames=yes
System autodl.conf found.

Tarkoituksena on käyttää tikkua sitten noiden videoitten esittämiseen televisiossa - kaikissahan on nykyisin usb-liitäntä, mutta harvoissa netti DLNA-toimintoineen (ja sekin yleensä huonosti toimiva).

Tuohon liittyen olisi aika hieno sellainen lisäys, että autodl:n asetuksissa voisi määritellä jonkin vapaavalintaisen skriptin/ohjelman ym. suoritettavaksi tiedostoille latauksen lopuksi. Saisi automatisoitua avi/divx:ksi muunnoksen (MiniDLNA vaatii sitä) ja tiedostojen edelleen kopioimisen esim. verkkokovalevylle.

Miten muuten tyylikkäästi katkaistaan lataus muuten kuin ehkä nettipiuhan irroittamisella? Kävi testatessa niin, että sammutin väkisin koneen, jolloin usb-tikun fat32-tiedostot jäivät read-onlyksi vaatien partition formatoimisen.

Vieras/guest-tilillä ei lataus onnistu.
.auto_dl/adl_chk jättää nuo tiedot tyhjiksi ja väriltään punaisiksi:
Koodia: [Valitse]
Foreground:
Job Maker Not found
Job Editor Not found
TSV Converter Not found
Setup Check Not found
Mitähän puuttuu guestin asetuksista?
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 03.10.12 - klo:18.34
Kirjoittelen illan kuluessa ja ehkä huomennakin hieman lisäyksiä, parannuksia ja uusia asioita ohjelmaan kaikkien kommenttien pohjalta.

Lainaus
...johdon irrottaminen...
Tuota latausta on tahallisesti hieman suojattu ettei se ainakaan vahingossa katkeaisi.  "killall" tepsii ja "pgrep -l  <etsittävän_nimen_alku>" löytää nopeasti mitä tarvitset.

Lainaus
Mitähän puuttuu guestin asetuksista?
Tuo tarkoittanee että /home/guest/.auto_dl puuttuu kaikkine rakenteineen.  Jos tuo "guest" oli jo olemassa kun asennusta ajettiin niin tuo vaatii lisätutkimusta.  Korjauksena/testinä voisi seurata päätteessä eikö asennusohjelma huomaa tuota käyttäjää tai mitä siellä sitten tapahtuukin "guest": in kohdalla.

Lainaus
Tuohon liittyen olisi aika hieno sellainen lisäys, että autodl:n asetuksissa voisi määritellä jonkin vapaavalintaisen skriptin/ohjelman ym. suoritettavaksi tiedostoille latauksen lopuksi.
Tutkitaan.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 04.10.12 - klo:18.37
1) Nauhoituskansio muualla_ja_"root" -omistaja on korjattu.  Testattu polulla "/data5/home5/data/YleVideos".

2) Uusi määritys käytettävissä oman skriptin ajoon kunkin nauhoituksen jälkeen.  Skriptin täytyy olla "bash" tai "sh" rakenteeltaan, nimellä ei ole väliä. Ohjelma tarkastaa että "Sha-Bang" löytyy skriptin alusta ennen ajon käynnistämistä. Myös tarkastusohjelma ".auto_dl/adl_chk" tarkastaa tuon käyttökelpoisuuden.  Skripti ajetaan käyttäjän tunnuksella. Määritys on muodoltaan:

Koodia: [Valitse]
RecordExitTask=<polku_skriptitiedosto>
esimerkki:

RecordExitTask=/home/matti/tiedostomuunnos

Tuon esimerkin "tiedostomuunnos" pitää laittaa ajokelpoiseksi (chmod +x tiedostomuunnos) jotta se toimisi.  Auto DL -ohjelma loggaa virheen jos tuo ajo-oikeus puuttuu, jos koko tiedosto puuttuu tai yrittää ajaa mitä tahansa muuta kuin bash/sh -skriptiä.

Uudet tiedostot ovat jälleen esillä.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: salai - 05.10.12 - klo:09.54
Näyttäisi melkein toimivan nyt, skriptihommakin.

Tosin jostain syystä Unna Junnán (http://areena.yle.fi/tv/1648312) lataus jättää aina kaksi rtmpdump-prosessia pyörimään 100% kuormalla ja ne pitää erikseen tappaa. Ja tämä tapahtuu ilman mitään skriptejäkin.

Se mainitsemani vieras/guest on Lightdm:n mukana tullut kirjautumisruudusta valittava vierasistunto, joka olisi hyvin hyödyllinen toiminto vierailevalle käyttäjälle. Se hakee kertakäyttöiset asetuksensa /etc/skel:istä tai omasta /etc/guest-session/skel:istä.

Vaikka ei tuo vierassessio kaikkinensa ole edes toiminut kunnolla: vaikka Lubuntu 12.04 ja Peppermint Three:ssä on Chromium oletusselaimena, ei se edes käynnisty guestilla.

Ellei sitten joku backporttaa juuri tullutta korjausta: [SOLVED] Unable to open chromium-browser in guest session - Ubuntu Forums (http://ubuntuforums.org/showthread.php?t=2065420)
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 05.10.12 - klo:18.20
Lainaus
Tosin jostain syystä Unna Junnán lataus jättää aina kaksi rtmpdump-prosessia pyörimään 100% kuormalla ja ne pitää erikseen tappaa. Ja tämä tapahtuu ilman mitään skriptejäkin.
En osaa arvata syytä tuolle, täällä nuo (koko sarja) tipahtivat normaalisti hetki sitten. 
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: salai - 05.10.12 - klo:22.05
Toisessa koneessa Lubuntu 12.04 ei ilmennyt ongelmia.

Aika vähillä säädöillä nuo Areenan videoitten tekstit saa näkyviin viimeisimmissä distroissa (testattu Lubuntu 12.04 ja Peppermint Three):
Asentaa vain dconf-tools:in ja menee dconf-editorilla muokkaamaan gnome-mplayerin asetuksia (apps>gnome-mplayer). Sieltä löytyy tekstityksen kieli (oletuksena joku Zumbamaa?), pistekoko (oletus 0!), väri ym, jotka voi asettaa suoraan soittimestakin. Subtitle-fuzzines = 1 ei kuitenkaan tallennu soittimesta vaihtamalla, vaan se täytyy asettaa dconf-editorilla. Tuo tarkoittaa, että soitin hakee sopivan tekstityksen nimen osan perusteella.

Tämän jälkeen tekstitys toimii automaattisesti Gnome-mplayerissä ja myös selaimen Gecko-mediaplayerissä, jos selaimeen (esim. Firefox ja Chromium) avaa videoitten kansion. Tekstit toistuvat oikein myös samba-jaosta soitettaessa.

Asetukset talletetaan binaariseen .config/dconf/user-tiedostoon, jonka voi kopioida uusia käyttäjiä varten /etc/skel:iin tai suoraan valmiin käyttäjän kotikansioon.

Aika monta päivää meni tuonkin tiedon löytämiseen, kun joka paikassa annetaan ohjeita vanhoista *.conf-tiedostoista ja gconf-editorista.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 06.10.12 - klo:02.53
Lainaus
Tämän jälkeen tekstitys toimii automaattisesti Gnome-mplayerissä ja myös selaimen Gecko-mediaplayerissä, jos selaimeen (esim. Firefox ja Chromium) avaa videoitten kansion. Tekstit toistuvat oikein myös samba-jaosta soitettaessa.

Asetukset talletetaan binaariseen .config/dconf/user-tiedostoon, jonka voi kopioida uusia käyttäjiä varten /etc/skel:iin tai suoraan valmiin käyttäjän kotikansioon.
Mainiota, tuo on hyödyllinen havainto.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: salai - 08.10.12 - klo:21.43
Ongelma skandien kanssa lienee seurausta siitä, että remasteroidussa Peppermintissä ja Lubuntussa (noita olen testannut) jää joku auto_dl:n ääkkösiin liittyvä muuttuja alustamatta.

Eli usb-tikulta käynnistyksen jälkeen toimii ääkkösettömien Areenan ohjelmien tallennus ilman ongelmia. Å, ä, ö, á jne merkit puolestaan tallentuvat ?-merkkeinä, jos kyseessä Linux-partitio. Fat ja ntfs -partitiolle tallennus ymmärrettävästi epäonnistuu kokonaan.

Asia korjaantuu, jos ajan aina käynnistyksen jälkeen komennon "sudo service autodld restart".

EDIT: Itse asiassa tuo komento korjaa näköjään tilanteen ilman Firefoxin uudelleenkäynnistystä seuraavan ääkkösohjelman kohdalla.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: Illu - 09.10.12 - klo:11.23
Ubuntu 12.04 (päivitetty 11.10:stä) muutti myös ääkköset kysymysmerkeiksi omaan kansioon tallennettaessa. Tuon "sudo service autodld restart" jälkeen merkit tulivat oikein, ilman Firefoxin uudelleenkäynnistystä. Myös omistus käyttäjälle toimii.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 09.10.12 - klo:19.14
Lainaus
Eli usb-tikulta käynnistyksen jälkeen.....

Kokeilin tikulta käynnistetyllä live-versiolla kun oli Mint 13 (32 bittinen) tikulla valmiina.  Yksi aivan muu puute sieltä löytyi tuossa yhteydessä joka liittyi kotihakemiston valintaan silloin kun sitä ei pakoteta uuteen paikkaan ja korjasin sen (uusi versio: Feed Reader v1.25).  

Versioiden tarkastaminen:
Koodia: [Valitse]
.auto_dl/adl_chk
Skandit sen sijaan toimivat kokeessani ongelmitta live-tikultakin ajettuna.  Pitäisi varmaan saada yksi ongelmatikku tänne niin voisin selvittää tuon ja korjata koodissani mitä ikänä se sitten vaatiikin. Laitetaan yksityisviestiä jos saisimme tuon järjestymään.

mint@mint ~/Videos $ ls -l
total 61256
-rw-r--r-- 1 mint mint 38068942 Oct  9 16:35 Eläimet töissä-2012-10-09T08:33:00.flv
-rw-r--r-- 1 mint mint 24652949 Oct  9 16:35 Råtta Booris parantaa tapansa-2012-10-07T09:14:00.flv
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: Illu - 09.10.12 - klo:19.51
Ubuntu 12.04 (päivitetty 11.10:stä) muutti myös ääkköset kysymysmerkeiksi omaan kansioon tallennettaessa. Tuon "sudo service autodld restart" jälkeen merkit tulivat oikein, ilman Firefoxin uudelleenkäynnistystä. Myös omistus käyttäjälle toimii.

Kommentti omaan: Lisäkokeilua ja kyllä tuo restart korjaa ääkkösvirheen. Muutettavasta koodin kohdasta ei sitten ole mitään hajua.

On muuten hankalaa löytää testaukseen sellaisia ohjelmia, joissa olisi vain muutama lyhyt ohjelmajakso ja nimissä skandeja. Eihän toki ole raskasta ladata vaikka 47 jaksoa "Ajantasan aamuvierasta", mutta hidasta ja tarpeetonta se on. No olihan se killall...
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 09.10.12 - klo:20.41
Lainaus
On muuten hankalaa löytää testaukseen sellaisia ohjelmia, joissa olisi vain muutama lyhyt ohjelmajakso ja nimissä skandeja.

Itse olen käyttänyt lasten ohjelmia, ovat niin lyhyitä että menee vähän levytilaa ja joistakin ohjelmista löytyy äöå.

http://areena.yle.fi/api/list.rss?id=1392607 (http://areena.yle.fi/api/list.rss?id=1392607)

Tuosta linkistä pystyt lisäämään suoraan uusia ohjelmia nauhuriin. Klikkaa hiiren oikealla ja Launchy...
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: Illu - 09.10.12 - klo:20.52
Olen enempi suosinut tällaisia: http://areena.yle.fi/api/search.rss?id=1260533
Tulee nopeasti valmista koetta.

Edit. Siis teknisesti, ohjelman sisällöstä viis.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: 2-mieli-FI-poliisi - 10.10.12 - klo:20.22
Reilun viikon mittainen testirumba on takana.
Ajatuksia ja huomioita:

Areena>Tv>Kaikki>Uuusimmat (http://areena.yle.fi/tv/kaikki?jarjestys=uusin) sivulta lisääminen ei ottanut sujuakseen, joten vaihdoin sivuiksi "muut kategoriat">Uusimmat ja johan alkoi pelittämään.

Alun rss-lisäilyvaiheessa oli parhaimmillaan parikymmentä samanaikaista latausta, eikä ongelmia. Tuli kuitenkin mieleeni, että "Ylen aamu tv" saattaa pistää koneen juntturaan jos epähuomiossa tilaa kaikki 150 jaksoa (6Gt) kerralla? Oops!

Jäljemmin olemassa olevaan "get_feed'iin" lisätyt ohjelmat eivät latautuneet "heti" vaan vasta "seuraavana päivänä" (koneen uudelleen käynnistyessä). Tämän jälkeen kaikki rullaa ja toimii kuten pitääkin.

Ladattujen joukossa oli myös pari outoutta: *
Se siitä! Teoriat testissä-2012-09-29T15:35:00.flv (0 tavua)
Se siitä! Teoriat testissä-2012-09-29T15:35:00-1.flv (140Mt)
Onnittelut-2012-09-23T20:00:00.flv (Runoraati 0 tavua)
Onnittelut-2012-09-23T20:00:00-1.flv (Runoraati 290Mt)

Lisäksi uuteen käytäntöön totutellessa tuli ensimmäisenä mieleen, että Launchyn nimi voisi olla käyttötavasta muistuttavampi AutoRSS tms. Tottuihan sitä tähän nykyiseenkin.  ;D

Kuinkahan käy kun tilaa "Suorat lähetykset" ladattavaksi? Luultavasti ei käy mitenkään, mutta parempi katsoa kuin katua. Entä miten ohjelma reagoi/palautuu kun kone menee keskeytystilaan tms. kesken latausten?

Koneen käynnistysaika on pidentynyt 20 sekunnilla (?): 10 kappaletta 1,5Mt:n "get_feed http://" + "auto_dld" on auki käynnistyksen jälkeen. Kaikkiaan tilauksessa on 40 eri tv-ohjelmaa.

Hieman olen kahden vaiheilla sen suhteen tarvitsisinko näillä määrillä jo Auto DL palvelulle Start/Pause/Exit nappulat sisältävän miniGUIn. Joskus on tarve varata verkko muuhun käyttöön ilman "keskeytyksiä". Tehtävänhallinnasta ei riitä oikeudet auto_dld/yle_dl lopettamiseen! Sudotuksellä kyllä, mutta...

Yle-dl (vanha) on tosiaan jo aiemminkin jäänyt harvoin ja satunnaisesti "kättelyluuppiin" (cpu 60%) ja se voi aiheuttaa ongelmia tässä kontekstissa. Auto DL palvelun kautta käytettynä en ole toistaiseksi tähän ongelmaan törmännyt. (liittyyköhän * tähän)

Lisäksi olen ihmetellyt user/.auto_dl/.live_data kansiossa olevan datan määrää: 84 kansiota ja 1500 tiedostoa (3,4Mt). Kansioissa on 53 rss-tiedostoa ja loput ovat tyhjiä. Syöte tähän känsioon lisätään heti Launchyn käynnistyessä vaikka painaisi peruuta nappia. Yhdestä (samasta) rss:tä jää useampi alikansio kun lisäykset tehdään eri aikoina. Poistetut tilauksetkin jäävät alikansioihin.

Vilahtikohan multa uninstall ohje ohi silmien. Synapticista ei löydy kuin yle-dl paketti.

Kaikki on sujunut ihan hyvin tähän mennessä. Kiitos tekijöiden. Toivottavasti tässä purskautuksessani on jotain hyödyllistäkin. Heittelen lisää loppukäyttäjän höpinöitä jos tulee vielä jotain mieleen.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: samihs72 - 11.10.12 - klo:10.23
Moi!

Onko Katsomo.fi nauhoitusten kanssa ongelmia joidenkin sarjojen suhteen esim. C.S.I, Roba jne.? Muistelen vain joskus, kun käytin yle-dl:ää ohjelmien katsomiseen VLC-playerilla, niin Katsomo.fi Silverlight systeemin tekijän oikeudet (?) taisivat rajoittaa jonkin verran joidenkin ohjelmien katsomista...

On kyllä aika näppäränoloinen systeemi.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 11.10.12 - klo:10.47
Lainaus
Reilun viikon mittainen testirumba on takana.
Ajatuksia ja huomioita:.........

Kiitos testiraportista !  Jotkut asiat ovat jo kuluneen viikon aikana korjaantuneet ja joitakin akuutteja korjauksia/tarkastuksia on vielä työn alla ja tekemättä. Lyhyesti:

Areenan eri syötelinkit:  
Jotkut Areenan syötteet aiheuttavat ongelmia muunninkoodille. Lisäsin pikakorjauksena lisätarkastuksen että tuloksissa joskus esiintyvän virheellisen datan yli hypätään.  Korjaan tuon muuntimen koodia mutta sen debuggaus on aika työläs mutta ensisijainen asia.

Datamäärä/käynnistettävät lataukset:
Tuota ei ole mitattu eikä rajoitettu koodissa mitenkään, linjanopeus ja oma levytila rajoina. Toistaiseksi kannattaa karkeasti arvioida webbiselaimella ennen työjonoon laittamista.  Koodissa on myös uudelleenyritysmekanismi jos nauhoitus on jäänyt kesken / katkennut.  Tuolloin näkyy yleensä videokansiossa ohjelma kahtena, se katkennut ja ehjä "-1" merkinnällä. Lisäksi nauhoituslogissa pitäisi näkyä "Failed:" -merkintä.  

Launchy
Tuo oli vain yksi tapa saada se nopeasti Firefox: iin mukaan ilman että tarvitsee heti itse kirjoittaa kaikkea.  Liikenevällä ajalla (?) voisi tuon osan kirjoittaa kokonaan itsekin.  

Hallintaohjelma
Tuohon tulee jotain kun ehdin.

Uninstall
Samoin tulee.

Livedata tulvii
Tuo on jo korjattu äskettäin.  Jätin ne roikkumaan alkuaan vikaselvitystarkoituksella. Enää tuota ei tarvita ja viimeisin versio korjaa tuon.  


Kaikki testiraportit ovat tärkeitä ja luen ne tarkasti.  Samoin ominaisuuksiin liittyvät toteutuspyynnöt.  Nyt kun koodi kehittyy ja korjaantuu nopeata vauhtia kannattaa tarkastaa onko viimeisimmät versiot käytössä omassa testikoneessa.  Versioiden tarkastus on helppoa jos käytössäsi on niin tuore versio jossa tuo on mukana.   Molemmat selviävät kun kirjoittelet päätteeseen:

Koodia: [Valitse]
.auto_dl/adl_chk
Tässä nykyiset versiot:
Checking Auto DL setup:
Background:
    System-V Init     v1.0
    Job Manager     v1.02
    Feed Reader     v1.27
    TSV Converter     v1.0
Foreground:
    Job Maker     v1.13
    Job Editor     v1.15
    TSV Converter     v1.0
    Setup Check     v1.1
 
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: Illu - 11.10.12 - klo:11.17
Tuo version tarkastus on kyllä oiva. Kuinkas uuden version asentaminen, pitäisikö se asentaa puhtaalle alustalle vai voiko sen tehdä vanhan päälle? Eli ettei jää mitään häiriöitä vanhasta asennuksesta tässä kehitysvaiheessa?
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 11.10.12 - klo:11.23
Tuo version tarkastus on kyllä oiva. Kuinkas uuden version asentaminen, pitäisikö se asentaa puhtaalle alustalle vai voiko sen tehdä vanhan päälle? Eli ettei jää mitään häiriöitä vanhasta asennuksesta tässä kehitysvaiheessa?
Jos se on viikon takainen asennus niin uuden pitäisi asentua ongelmitta päälle kun vain ajaa pitkän asennusrimpsun uudestaan. 
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: Illu - 11.10.12 - klo:21.34
Tuo version tarkastus on kyllä oiva. Kuinkas uuden version asentaminen, pitäisikö se asentaa puhtaalle alustalle vai voiko sen tehdä vanhan päälle? Eli ettei jää mitään häiriöitä vanhasta asennuksesta tässä kehitysvaiheessa?
Jos se on viikon takainen asennus niin uuden pitäisi asentua ongelmitta päälle kun vain ajaa pitkän asennusrimpsun uudestaan. 
Asentui hyvin, aiemmat asetukset (tallennuskansio) säilyivät entisellään. Edelleen vaatii "sudo service autodld restart" skandeille.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: salai - 13.10.12 - klo:00.11
Sain ääkköset toimimaan distro-optiolla remasteroidussa Peppermint Three usb-tikussa tekemällä
/etc/xdg/autostart/autoload.desktop -tiedoston

Koodia: [Valitse]
[Desktop Entry]
Type=Application
Name=Autoload
Exec=sudo service autodld restart
Comment=KOKEILU
Name[en_US]=autoload.desktop

Eli sisäänkirjautumisen jälkeen käynnistetään autodld-palvelu uudelleen.


Kuvakaappaus fat32:lle tallennetuista videoista (esikatselutila):
(http://img6.imagebanana.com/img/mqula1ab/thumb/tyoetila1_003.png) (http://www.imagebanana.com/view/mqula1ab/tyoetila1_003.png)

EDIT: Lisäsin gnome-mplayerin soittamaan, kun oli juuri sopivasti tekstityksessä ååkkåsia.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 13.10.12 - klo:09.27
Lainaus
Sain ääkköset toimimaan distro-optiolla....
Hyvä, keinot on monet.
Sain jo kasalle korjatun datamuuntimen ja laitoin esille.  Ajoin sitä muuntimen testiohjelmalla testaten ja tarkastaen Ylen dataa eri puolilta Areenaa ja niillä ainakin toimi ok.  
Testailussa esiin tuli kuitenkin toinen hankaluus mihin joudun vielä varautumaan paremmin:  Areenan otsikoiden vaihteleva toteutus.  Vertailukoodi epäonnistuu tuon johdosta joissakin tilanteissa eikä aktivoi nauhoitusta.  Korjaan tuota otsikoiden tulkintaa ja otan ääkkösasian myös työn alle.  
Ääkkösiin tiedostonimissä löytyy korjaus itse ohjelmaan kunhan saan sen ongelman eteeni täällä esiintymään kun omat testikoneeni (2 kpl) tekevät ääkköset kiltisti.  

Edit
Tämä ääkköset Peppermint: ssä ei ollutkaan aivan selkeä juttu, loggasin tapahtumat tiedostoon.   Auto DL lähettää parametrit oikein --> "yle-dl", yle-dl käynnistyy ja ilmoittaa tiedostonimen niin että siinä näkyvät skandit, tiputtelee ohjelman tavalliseen tapaan,  ilmoittaa lopuksi ladanneensa ohjelman --- ja siinäkin nimessä näkyvät skandit oikein.  Vaan kun menee katsomaan mitä Videot -kansioon ilmestyi niin siellä vasta on kysymysmerkkiä skandien tilalla.  Siis myös "yle-dl" luulee kirjoittaneensa tiedoston nimen oikein mutta järjestelmään ilmestyy tiedosto mistä skandit puuttuvat.  

Output file: /home/peppermint/Videot/Metkat Mesiläiset-2012-10-08T07_06_00.flv
RTMPDump v2.4
(c) 2010 Andrej Stepanchuk, Howard Chu, The Flvstreamer Team; license: GPL
Connecting ...
WARNING: HandShake: Type mismatch: client sent 6, server answered 9
INFO: Connected...
Starting download at: 0.000 kB
INFO: Metadata:
INFO:   duration              449.32
INFO:   moovPosition          28.00
INFO:   width                 640.00
INFO:   height                360.00
INFO:   videocodecid          avc1
INFO:   audiocodecid          mp4a
INFO:   avcprofile            77.00
INFO:   avclevel              30.00
INFO:   aacaot                2.00
INFO:   videoframerate        25.00
INFO:   audiosamplerate       44100.00
INFO:   audiochannels         2.00
INFO: trackinfo:
INFO:   length                11233000.00
INFO:   timescale             25000.00
INFO:   language              eng
INFO: sampledescription:
INFO:   sampletype            avc1
INFO:   length                19814400.00
INFO:   timescale             44100.00
INFO:   language              eng
INFO: sampledescription:
INFO:   sampletype            mp4a
37429.232 kB / 449.28 sec (99.9%)
Download complete
Stream saved to /home/peppermint/Videot/Metkat Mesiläiset-2012-10-08T07_06_00.flv

peppermint@peppermint ~ $ ls -l Videot
yhteensä 37432
-rw-r--r-- 1 peppermint peppermint 38327534 loka  13 19:57 Metkat Mesil?iset-2012-10-08T07_06_00.flv
peppermint@peppermint ~ $

 
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 16.10.12 - klo:02.55
Skandien häipyminen ensikäynnistyksen yhteydessä ja toimiminen "sudo service autodld restart" jälkeen on tutkittu.  Asia liittyy käynnistymiseen ja ympäristömuuttujien välittymiseen ja tein siihen pikakorjauksen pakottamalla arvoksi "fi_FI.utf-8" jos LANG-muuttuja on tyhjä ennen kuin kutsutaan "yle-dl" lataamaan.  Rakennan tuohon jatkossa hieman paremman toteutuksen niin että "locale" voi olla mielivaltainen ja poimitaan järjestelmän asetuksista.

Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: salai - 16.10.12 - klo:05.38
Näyttäisi skandit olevan oikein (Feed Reader v1.28) juuri remasteroidussa wattOS-distrossa tikulta käynnistettynä.

Voisin lähettää sinulle ison tästä, kunhan olen testannut hieman lisää. Tämä vaatii hieman vähemmän muistia kuin Peppermint ja käyttää LXDM:ää, jolloin ajastettu automaattikirjautuminenkin toimii. Ja on ulkonäöltään parempi kuin puhkipalaneeksi muokattu Peppermint.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 16.10.12 - klo:10.45
Kiitos, ".iso" on tervetullut ja mukavastihan tuo Pepperminkin toimi tikulta. Tikku on siinä mielessä kätevä testailussa että käynnistyksen jälkeen on puhdas pöytä mistä aloittaa.  
Tuli vastaan yksi ihan muu asia tikkujen kanssa:  Ajattelin tehdä tikun "dd": n avulla ja käsitellä tuon  ".iso" -tiedoston ensin "isohybrid" -ohjelmalla mutta tuossa vanhemmassa testikoneessani on Ubuntu 10.04 mihin ei yllättäin olekaan tyrkyllä "isohybrid" -ohjelmaa edes pakettivarastoissa (löytynee vain uudempiin Ubuntuihin).  Tein sitten tikun "unetbootin": n avulla ja hyvin toimi heti.

Tutkailin ongelmaselvityksen yhteydessä näitä lokalisointiasioita eli mitä kautta nämä skandit tulevat koneen käynnistyessä.  Hieman harmillista että pakka on osittain levällään eri distroissa.  Yleisin tapa  näyttäisi olevan Debianin tapa määrittää /etc/default/locale -tiedostossa lyhyesti:

Koodia: [Valitse]
LANG=fi_FI.UTF-8
Tuloksen voi tarkastaa kun kirjoittelee:

Koodia: [Valitse]
locale

LANG=fi_FI.UTF-8
LANGUAGE=
LC_CTYPE="fi_FI.UTF-8"
LC_NUMERIC=fi_FI.UTF-8
LC_TIME=fi_FI.UTF-8
LC_COLLATE="fi_FI.UTF-8"
LC_MONETARY=fi_FI.UTF-8
LC_MESSAGES="fi_FI.UTF-8"
LC_PAPER=fi_FI.UTF-8
LC_NAME=fi_FI.UTF-8
LC_ADDRESS=fi_FI.UTF-8
LC_TELEPHONE=fi_FI.UTF-8
LC_MEASUREMENT=fi_FI.UTF-8
LC_IDENTIFICATION=fi_FI.UTF-8
LC_ALL=


Hätäisen nettiselauksen tuloksena ohjelmat päättelevät merkistönsä/maa-asetuksensa joko "LC_CTYPE": n tai "LANG": in kautta, noista pelkästään "LANG" näkyy ympäristömuuttujissa:

Koodia: [Valitse]
env
Jos  "locale" näyttää tähän tyyliin arvoksi "POSIX": ia siinä ympäristössä missä ohjelmaa ajetaan niin ohjelma ei löydä maa-asetuksia (ilman että ohjelman sisällä on tuohon erikseen varauduttu):

LANG=
LANGUAGE=
LC_CTYPE="POSIX"
LC_NUMERIC="POSIX"
LC_TIME="POSIX"
LC_COLLATE="POSIX"
LC_MONETARY="POSIX"
LC_MESSAGES="POSIX"
LC_PAPER="POSIX"
LC_NAME="POSIX"
LC_ADDRESS="POSIX"
LC_TELEPHONE="POSIX"
LC_MEASUREMENT="POSIX"
LC_IDENTIFICATION="POSIX"
LC_ALL=


Tässä tiedostonimien skandiongelmassa kävi juuri noin.  Se että pääsee näkemään  ohjelman näkemän todellisen ympäristön kun se käynnistyy palveluna taustalle vaati oman temppunsa.  Teknisesti ilmaistuna ongelma oli siis että joko pääprosessilta puuttui "LANG" ja/tai ympäristön "LANG" ei periytynyt pääprosessilta lapsiprosessille.  Asia on kuitenkin melko helppo kiertää niin että lapsiprosessi itse päättelee ympäristönsä jos "LANG" palauttaa tyhjää.

Meni hieman ohjelmointijuttujen puolelle mutta toivottavasti tuokin auttaa jotakuta --- voi säästää aika isolta vaivalta ja hyvä tietää muutenkin  :)  

PS.  Ylläoleva koskee erityisesti varhaisemmassa vaiheessa käynnistyviä ohjelmia.  Tavanomainen sovellusohjelmointi harvoin (jos koskaan) kohtaa noita asioita koska oletetaan ympäristön olevan "valmiin" ohjelman käynnistyessä.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: salai - 16.10.12 - klo:11.02
Tuntuisi hakevan paljon nopeamminkin sen tiedon esim. Unna Junná -sarjasta nyt kuin aikaisemmin. Lieneekö koodisi parantunut vai toimiiko Ylen pää vain satunnaisesti nopeammin?

Tämä wattOS kyllä vaikuttaa nyt todella hyvältä. Tässä on mm. Jupiter 0.1.7 laitehallintaan, eli voi helposti kytkeä lattahiiren tai wifin päälle/pois tai hallita ulkoista näyttöä. Ainoastaan ihmettelin jotain 80 Mtavun .rpmdb hakemistoa, jonka asennus oli tehnyt/jättänyt.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 16.10.12 - klo:11.12
Lainaus
Tuntuisi hakevan paljon nopeamminkin sen tiedon esim. Unna Junná -sarjasta nyt kuin aikaisemmin. Lieneekö koodisi parantunut vai toimiiko Ylen pää vain satunnaisesti nopeammin?

Molempia on tapahtunut ja koodini paranee edelleen, korjaus/parannuslista pyörii mielessäni...  Noita Auto DL ohjelman tekemiä logeja voi jossain määrin "väärinkäyttää" Ylen vastenopeuden kartoitukseenkin.
 
Edit  
Uutta syntynyt tänäänkin, tuorein versiolista:
Background:
    System-V Init     v1.0
    Job Manager     v1.1
    Feed Reader     v1.29
    TSV Converter     v1.11
Foreground:
    Job Maker     v1.14
    Job Editor     v1.16
    TSV Converter     v1.11
    Setup Check     v1.1

Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: 2-mieli-FI-poliisi - 17.10.12 - klo:16.17
Uutta lyhyesti:
Auto DL:lle tuli mieleen vaihtoehtoinen toimintalogiikka.
-Tilaukset tehdään suosituksena (aina) kunkin ohjelman omasta rss-syötteestä
-Oletuksena ladataan vain uusin + tulevat jaksot
-Rasti ruutuun jos poikkeavasti ladataan vanhatkin jaksot
Mielestäni selkeyttäisi käyttöä monessakin mielessä ja ilmeisesti(?) mahdollistaisi myös manuaalisen "run once" ajonkin ilman syötteenlukusyklien jatkuvaa taustarotaatiota. Tweakers Heaven!  ;D

Edellisen jatkoa:
Muistisyöppöä on jahdattu jonnin aikaa. Vasta nyt sain sen verekseltään kiinni.
Yle-dl (Areena lataus) aiheuttaa "jumiin" jäädessään vakavahkon ongelman. Yhden epäonnistuneen latauksen jälkeen (kill) koneen muistiin tuli 200Mt ylimääräistä tavaraa. Kohde: /usr/bin/X:0 -auth /var/run/lightdm/root/:0 -nolisten tcp vt7 -novtswitch -background none (360Mt). Uudelleen käynnistyksen jälkeen samainen on vain 50-110Mt. Pahimmillaan käytetyn muistin määrä on tämän johdosta kumuloitunut 25%:sta 70%:iin kaikkien ohjelmien ollessa suljettuna. Edes BleachBit ei onnistunut muistia vapauttamaan, joten oikein virtanapilla piti kyykyttää.
Tätä tapahtuu kuitenkin niin harvoin ja epäloogisesti, että kausalisuus on edelleen "debatoitavissa".
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: nm - 17.10.12 - klo:18.10
Yle-dl (Areena lataus) aiheuttaa "jumiin" jäädessään vakavahkon ongelman. Yhden epäonnistuneen latauksen jälkeen (kill) koneen muistiin tuli 200Mt ylimääräistä tavaraa. Kohde: /usr/bin/X:0 -auth /var/run/lightdm/root/:0 -nolisten tcp vt7 -novtswitch -background none (360Mt).

Tuo on X-palvelin, joka puskuroi jatkuvasti työpöytägrafiikkaa ja ohjelmien bittikarttoja muistiin. Heti käynnistyksen jälkeen puskureita ei vielä ole kovin paljon, jolloin X-palvelin käyttää vain muutaman kymmenen megaa. 360 Mt on vielä aika normaali X-palvelimen muistikulutus, jos keskusmuistia on käytettävissä riittävästi ja ajossa on useampia ohjelmia.

Auto DL ei nähdäkseni voi vaikuttaa X-palvelimen muistinkäyttöön millään tavalla, koska prosessien välillä ei ole yhteyttä.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: 2-mieli-FI-poliisi - 17.10.12 - klo:19.04
En tiedä?
Mutta oma arvioni on, että Auto DL:n...
HeeTkinen! Puhuin yle.dl:stä, enkä...
My mistake! On my computer.
En se minäkääm ollut!

Toisaalta vanhan yle-dl:n sekoilut ovat lisääntyneet puolella sen jälkeen kun asensin Auto DL:n!
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: nm - 17.10.12 - klo:19.36
En tiedä?
Mutta oma arvioni on, että Auto DL:n...
HeeTkinen! Puhuin yle.dl:stä, enkä...

Myöskään yle-dl ei vaikuta X-palvelimen muistinkäyttöön. Launchyssä sensijaan voisi teoriassa olla joku muistivuoto, joka vaikuttaa X:ään, mutta siinäkin tapauksessa muistin pitäisi vapautua, kun suljet selaimen.

Toisaalta vanhan yle-dl:n sekoilut ovat lisääntyneet puolella sen jälkeen kun asensin Auto DL:n!

No lataakohan Auto DL mahdollisesti jotain samaan aikaan, kun yrität ladata manuaalisesti yle-dl:llä?
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 17.10.12 - klo:20.21
Kommentoin tässä vain tuota Auto DL: n nauhoituslogiikkaa ja siihen liittyvää ongelmakenttää, "nm" kertoi jo tuosta toisesta asiasta ja tunteekin sen kattavammin kuin minä.

Siispä vain tekniikasta kiinnostuneille:

Silmättäessä Areenaa läpi siellä on karkeana rautalankamallina kahdenlaisia syötteitä, päätason "tuoreimmat" RSS josta löytyy niitä tuoreimpia ohjelmia johonkin päivään x asti sekä "SARJA"-tason RSS joka näyttäisi sisältävän sarjan kaikki jaksot jotka ovat Areenassa esillä.  Ilman mitään erityistä logiikkaa itse Auto DL -nauhurissa tuloksena on vastaavasti että jos nauhoitettavan ohjelman on poiminut "tuoreimmat" puolelta niin sieltä tulee vain se tuorein ja kaikki sen jälkeen ilmestyvät jaksot.  Vastaavasti jos ohjelman valitsee "SARJA": n alta syöte sisältää kaikki jaksot ja sen jälkeen tuorein pävittyy sinne.  Tuohon on mahdollista rakentaa logiikkaa väliin mutta ennen sitä mietitään hieman tuota ketjua miten se etenee käyttäjän kannalta.  Esimerkki havainnollistaa ehkä parhaiten nauhoituslogiikan mahdollisuuksia ja rajoituksia.
Käyttäjä tulee selatessaan ensin päätason sivulle, haluaa lisätä "Kesäillan valssi": n nauhuriinsa, huomaakin että tuo olikin jo mennyt tuoreimmista pois, mennäänpä lisäämään se tuolta "SARJA": n takana olevasta RSS kuvakkeesta, oho, nyt tuleekin monta osaa !   Tuo on tuttu asia mutta jos mietitään hieman taaksepäin mikä oli se syvin ongelma:    
Jotta ohjelman voi lisätä nauhuriin sen pitää löytyä syötteestä.  Ei ole käytettävissä sellaista RSS linkkiä josta löytyisivät kaikista tämän alueen ohjelmista se tuorein jakso riippumatta onko se päivän vai viikon takainen.  Jos muotoilisin sen toisin, tällä hetkellä "tuoreimmat" on aikarajattu lista, ei jaksorajattu lista.  

Automaattinauhurin (Auto DL) kätevä käyttö nykymuodossaan vaatisi jaksorajatun tuoreimpien ohjelmien syötteen jossa siis löytyisi se viimeisin lähetetty jakso ilman aikarajaa.  Lisäys tuohon syötteeeseen  YLE Areenan toimesta tapahtuisi tavalliseen tapaan silloin kun ohjelma on tullut tv: stä ulos, tuoreempi jakso tiputtaisi edellisen jakson pois ja ohjelman poistuessa Areenasta se häipyisi syötteestä.   Tuo oli oikeastaan toivomus YLE Areena: n kehittäjille, asian toteuttaminen siellä päässä on käsitykseni mukaan yksinkertainen asia.  Auto DL -nauhurin puolella on mahdollista kehittää lisälogiikkaa tuon jäljittelyyn mutta syötteen tekijän puolelta tuo kävisi kätevästi, olisi tyyliin "kaikkien musiikkiohjelmien tuorein jakso" -syöte millä Auto DL tekisi heti nykyisellään asian kuten käyttäjät toivovat.  

Odotellessa voin toki miettiä miten tuota toimintoa jäljittelisi pelkällä käyttäjäpuolen koodilla (Auto DL) ja siihenkin on idea olemassa jotta käyttäjän itse ei tarvitsisi poimia ohjelmia monista eri syötteistä (mutta Auto DL joutuisi sen kuitenkin tekemään). Teknisenä haittana olisi lisääntynyt kommunikaatiotarve kun käyttäjän päässä samainen tieto pitäisi parsia kasaan hieman hankalasti montaa eri tietä kun taasen jaksorajattu syöte hoitaisi sen kerralla.
Jos tarkkoja ollaan niin tuo lisääntynyt kommunikaatiotarve on jo nyt olemassa kun käyttäjät joutuvat keräämään eri syötteistä haluamasta ohjelmat tuolta "SARJA": n kautta.  Auto DL käynnistää kutakin syötettä kohti oman syötelukijan ja jokainen syötelukija seuraa omaa syötettään.  10 ohjelmaa aiheuttaa "SARJA": n kautta nauhuriin kerättyinä valintoina 10 kertaisen kommunikaation määrän verrattuna siihen että nauhoitettavat ohjelmat voitaisiin valita yhdestä pääalueen syötteestä.  Kommunikaation määrä ei tosin käyttäjän päässä ole tuolloinkaan ongelma syötteen ttl-arvon ollessa 15 minuuttia mutta Areenan palvelimien (tai cache: n) puolella se saattaa olla harkinnan arvoinen asia.
    
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: 2-mieli-FI-poliisi - 18.10.12 - klo:17.51
nm:en ulottuvuuden osaamisalueelle (earth calling)  :D

Auto DL:n taustatoiminnoista en tiedä, mutta ainakaan latauksesia ei ollut käynnissä. SMPlayer pyöritti samalla jotain areenasta aiemmin ladattua ohjelmaa ja Firefoxkin oli luonnollisesti auki (flash poissa käytöstä). Ensimmäisenä epäilin selainta, mutta tämä osoittautui ajanmittaan vääräksi luuloksi. Virhe liittyy yle-dl:n käyttöön, mutta se missä kohtaa "proseduuria" näin käy on täysi mysteeri. Klassisen "kaiken järjen mukaanhan" näin ei vain kertakaikkiaan voi käydä. Muutkin ovat kertoneet cpu:n hypähtävän 100%:n ja tätä voinee jo pitää jonkinlaisena epätodennäköisyysgeneraattorina, joka indikoi hassuja tapahtumia tulevaksi. Onneksi taidan olla ainut jolla on mennyt toinenkin bitti poikittain muistin käytön suhteen. Valistunut arvaukseni on, että vika korjaantuu jäljittämällä prosessorin kuorman lisäyksen aiheuttaja.
Mutta, jos kirurgi on jo avannut potilaan, eikä elimellistä vikaa löytynyt niin minkäs teet! Lähetät potilaan allergiatesteihin, josko muut ympäristötekijät aiheuttavatkin galvaanisen ihoreaktion ja hengitysteiden ahtauman.
Vakavasti puhuen ongelma on todellinen ja yle-dl ei tunnista/palaudu virhetilanteesta kuten hyviin tapaoihin kuuluu. Kokemukseni pohjalta ohjelma(t) taitaa jurnuttaa erroriaan hamaan maailman tappiin.

Luettuani kirjan "Virtahepo kylpyammeessa" olen totutellut kylmiin suihkuihin.  ;D

edit: jäävla typo's
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: 2-mieli-FI-poliisi - 18.10.12 - klo:17.55
Takaisin Auto DL:ään

Auto DL kannattaa pitää nykyisen kaltaisena kevyenä ja sulavalinjaisena. Skypepuhelukaan ei katkennut alkaneeseen lataukseen. Jos syötteitä täytyy perata, yhdistellä tms. niin ne toiminnot voinnee jättää käyttäjänkin suoritettavaksi miniGUIhin. Esim. "Päivitä" napin taakse.

Toisaalta ohjelman (esim. http://areena.yle.fi/tv/990379) rss-syötteen kautta lisäyksen voisi hoitaa härskisti merkkaamalla kaikki olemassa olevat jaksot ladatuiksi ja jatkaa suoraan vain tulevien jaksojen latauksilla. Tämä riittäisi ainakin minulle. Kyllä sen yhden uusimman jakson voi ladata vanhallakin tekniikalla. Tällöin jää kyllä kaikkien jaksojen latausvaihtoehto ilmaan roikkumaan. Sitä tarvittaneen käytännössä niin harvoin, että sen voisi jopa suosiolla jättää sudoriimittelyllä hoidettavaksi.
hmm...
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: Ganymedes - 18.10.12 - klo:18.41
Mielestäni AutoDL:n perusidea on juuri kohdallaan. En ymmärrä miksi lataukset pitäisi rajoittaa vain tulevaisuuteen, koska oikeastaan juuri menneisyyden löytäminen on se ongelma. Tulevaisuuden ohjelmathan voi vaikka katsoa, pahimpana vaihtoehtona, tai sitten nauhoittaa joskus tulevaisuudessa.

Mielestäni se, että menneisyyden ohjelmatkin nauhoitetaan ei haittaa mitään. Lataushan on varsin nopea joten ajallisesti sillä ei ole väliä. Tilantarpeella ei myöskään ole mitään väliä, koska .FLV:t voi vaikka tuhota pois ilman että ohjelman toiminta tulevaisuudessa siitä muuttuu. Pahimpana vaihtoehtona on FLV-tiedostojen siirtäminen jonnekin muualle, jos niitä vaikka jopa katsoisi.

Menneisyyden sisällyttäminen nauhoituksiin ei myöskään tuki konetta - sehän menee tukkoon, jos on mennäkseen, siksi että valitsee kymmeniä ohjelmia nauhoitettavaksi samaan aikaan. Mielestäni käyttäjän kannattaa tämä ymmärtää itse tai jos ei ymmärrä niin asia ei kuitenkaan liity menneisyyden nauhoittamiseen - sehän saa aikaan koneen tukkiutumisen pidemmäksi aikaa yhden kerran silloin kun kymmenet ohjelmat ensimmäisen kerran valitsee ... ei mielestäni erityisen merkityksellistä siihen nähden jos kymmenet ohjelmat tukkivat koneen joka kerta kun koneen aukaisee.

Omilla hidas-AMD-dual-core koneillani en ole huomannut AutoDL:stä johtuvaa hidastelua, Ubuntu 12.04 64-bit, muistia on hitaammalla koneella 2 GB.

Oma asiansa on sitten se, että tämäntyyppisten ohjelmien high-endissä käytetään jonotusohjelmistoa, jossa jonossa olevia töitä voi hallita, esim. siten että kuinka montaa nauhoitetaan samaan aikaa jms.  Omien kokemusteni valossa tuolle ei ole tarvetta, koska ei YLEllä ole kymmeniä kiinnostavia ohjelmasarjoja, joita pitäisi nauhoittaa kaikenaikaa. Yksittäiset ohjelmathan voi nauhoittaa yksitellen eikä AutoDL:llä. Mahdollisesti hyvin hitailla koneilla tuolle voisi olla käyttöä ... en ole varma.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: 2-mieli-FI-poliisi - 18.10.12 - klo:19.42
Tästä olen Ganymedeksen kanssa periaatteessa samaa mieltä: Mielestäni AutoDL:n perusidea on juuri kohdallaan. Mutta, mielestäni loput käyttötarkoituksen kuvaukset liittyvät "Areenan Arkisto" toimintoihin, jotka ovat tulevan potentiaalisimman käyttäjäkunnan kannalta mariginaalinen kohderyhmä. Oma strateginen fokukseni kohdistuu viitteellisesti uusimpien ohjelmien nauhoitukseen, eikä kaikkien 60-luvun ohjelmien tallentamiseen omalle kovolle. Eiköhän nämäkin "eroavuudet" voida erotella ihan rss-syötteen differentiaali erotteluiden perusteella. (tarkistamaton)

Toivon kuitenkin, että kehittelijät suhtautuvat näihin "meidän ehdotuksiin" asiaankuuluvalla hartaudella!
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 19.10.12 - klo:21.31
Tuli vastaan tuo korkean kuorman tilanne mutta se oli "rtmpdump" joka oli joutunut vaikeuksiin. Dumppasin tiedostoon tuon komentorivin millä "rtmpdump" oli käynnistetty.

Edit
Näyttää siltä että tuosta dumppauksesta ei ole hyötyä kun katselin logeja hieman. Näyttää siltä että "rtmpdump" on aloittanut, saanut tiputettua noin 67k dataa ja saanut mahdollisesti odottamattoman vasteen Areenasta jääden luuppiin.  Kun tapoin "rtmpdump": in niin "Auto DL" huomasi hetken päästä että lataus oli epäonnistunut ja tiputti ohjelman uudestaan.
Auto DL ei pysty vaikuttamaan tuohon enää siinä vaiheessa kun lataustehtävä on "heitetty" "rtmpdump": lle. Ainut asia olisi kehittää siihen erikseen "rtmpdump": in tappamisen jos se näyttää jumittuneen.  Vaatisi pienen pähkäilyn miten tuon tunnistaisi automaattisesti. Pelkkä kulunut latausaika ei ole oikein hyvä peruste kun linjanopeudet voivat olla hyvin erilaisia eri käyttäjillä vaan prosessin jääminen väärään luuppiin pitäisi tunnistaa jotenkin muuten.  Mietitään.
   
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: 2-mieli-FI-poliisi - 20.10.12 - klo:22.20
Yle-dl ja rtmpdumpin välillehän tuo luuppin aiheuttaja jää(nee). Oma veikkaukseni sen aiheuttajasta menee tarvittavien "osatekijöiden" sleep modeen saakka. Intuitiivisesti on "ihan loogista", että unenpöpperöinen prosessi vastaa vähän "mitä sylki suuhun tuo". Ilmeisesti yle-dl:n pitäisi olla näistä vastarakastuneista se vastuullisempi osapuoli joka osaa sanoa EI! Juu-Ei, Juu-Ei. Tilanne on 2-2.

Toisaalta haluaisin, että vertaatte Auto DL:n toimivaa "ohjauslogiikkaa" Yle-dl:n ajoittain jumittavaan "ohjauslogiikkaan". Ero saattaa olla myös launchyn puolella?

Jatketaan pohdintoja ja testailuja...

Tekiköhän joku muutoksia lähipäivinä vai oliko Hercule Poirotin viimeisin jakso uusinta kun ei ole latautunut kuten aiemmin? Tilaus on tehty 2 viikon takaisella versiolla jostain uusimmat "alagategorian" rss-syötteestä (ei muista).

Edit:
Tuli vielä mieleen, että vaikuttaakohan aiemmin erikseen asentamani "orig" rtmpdump näihin toimintoihin.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: 2-mieli-FI-poliisi - 27.10.12 - klo:22.01
Poirot näköjään ilmestyykin perättäisinä päivinä ja sekosin päivistä. Sattuuhan sitä. Toisaalta kun kone on auki aamupäivästä yöhön asti niin Areenan aktiivisimman päivittymisen aikana klo 18-24 "auto_dl" on ehtinyt jo nokosille. Tai koneeni on dissannut "sen" virransäästön nimissä prioriteettien "alakastiin"?
-Jaksoja (ohjelmia) on ladattavana n. 40 ja seurattavia feedejä n. 15 kpl-

Kansiot (auto_dl) ovat muuten siisteytyneet sitten viimenäkemän. Huomasin myös, että olen tilannut jotkin ohjelmat eri syötteistä useampaankin kertaan, mutta ei siitä mitään haittaakaan ole koitunut.

Esimerkki:
1.) /home/user/.auto_dl/adl_jobs/http:||areena.yle.fi|tv|kaikki.rss?jarjestys=uusin/YleLeaks
2.) /home/user/.auto_dl/adl_jobs/http:||areena.yle.fi|tv|sarjat-ja-elokuvat|kaikki.rss?jarjestys=uusimmat/YleLeaks
Ehkä tämä on toimivakin yhdistelmä (?) koska pelkkä 1)-syöte yksinään ei toimi halutulla tavalla. Koneen pitäisi ilmeisesti olla 24/7 auki, jotta toimisi.

Lisäksi on vielä kolmas syöte, jossa tuorein jakso kököttää kuin tatti vähintään viikon ajan.
3.) /home/user/.auto_dl/adl_jobs/http:||areena.yle.fi|api|search.rss?id=1653268&media=video&sisalto=ohjelmat/YleLeaks
Tässä on vaan joidenkin ohjelmien kohdalla se ongelma, että lisäyksen yhteydessä ladataan myös liuta jo kertaalleen katsottuja vanhoja jaksoja.
Saisikohan tästä kuitenkin tehtyä "Launcyyn" avaamaan ikkunaan version, jossa ruksitaan ladattavat jaksot vielä erikseen ennen "tilauksen vahvistusta". Tyydyttäisi varmaan "noiden muidenkin" käyttötarpeet kertaheitolla.

Toimitusvarmuus senkun paranee siirryttäessä 1. syötteestä 3:een, mikäli olen syötteet oikein ymmärtänyt. Jos juuri julkaistut tuoreet ohjelmat ilmestyvät, ilman kohtuutonta viivettä, 3. kohdan rss-syötteeseen niin 1. ja 2. kohtien syötteet jäävät "merkityksettömiksi".

Vaihtoehtoisesti auto dl voisi asennusvaiheessa automaattisesti lisätä 1. tai 2. (6kpl) kohdan ylätason syötteet, jolloin se pysyy ajantasaisena. Launchyn kautta lisätään vain ko. ohjelman (3. kohta) nimikkeellinen syöte esim. YleLeaks
http://areena.yle.fi/api/search.rss?id=1653268&media=video&sisalto=ohjelmat

Eli taka ajatuksena on ,että Auto_dl:n asennusvaiheessa lisätään nuo n, 7 vartin välein päivittyvää "nuuskija" syötettä ja launchyn kautta niihin lisätään ladattavan ohjelman Nimi(ke) sekä "ylimääräinen" ohjelman nimikko-rss.

Ilmeisesti homma toimii jo tämän suuntaisesti, joten edellä ei taida olla mitään "radikaalipähkinöitäkään" oraville jaettavaksi.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 28.10.12 - klo:21.27
Lainaus
Kansiot (auto_dl) ovat muuten siisteytyneet sitten viimenäkemän. Huomasin myös, että olen tilannut jotkin ohjelmat eri syötteistä useampaankin kertaan, mutta ei siitä mitään haittaakaan ole koitunut.

Siellä oli alkuvaiheessa jäljellä paljon käytön kannalta tarpeetonta tavaraa, asetin ne tahallaan debuggausta varten jäämään mutta laitoin ne myöhemmässä versiossa siivoutumaan pois automaattisesti (kun ei enää tarvita).

Saman ohjelman tilaaminen mielivaltaisen monen eri syötteen kautta on otettu huomioon ja kuten havaitsitkin ei haittaa mitenkään.  Se syötelukija joka ensin havaitsee uuden ohjelman tiputtaa sen ja muut syötelukijat huomaavat sen jo tehdyksi.

Tuosta ideastasi, syöte yksinään tai sen lisääminen yksinään ei tee mitään.   Idea toimii niin että syötteen nimeen liitetään käyttäjän valinnat ja tuo talletetaan "työohjeeksi" eli nuo kulkevat käsikädessä.  Palvelin puolestaan tulkitsee kunkin käyttäjän tallettamia työohjeita käynnistämällä syötelukijan kullekin syötteelle mistä käyttäjä on valinnut ohjelmia alkaen seurata käyttäjän valitsemien ohjelmien ilmestymistä syötteeseen. 
   


Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: 2-mieli-FI-poliisi - 07.11.12 - klo:19.56
Taisin duubioilla, jossain vaiheessa virransäästötilan keskeyttämistä latauksista: Ainakin valmiustilaan siirtymisen jälkeen filu pätkähti 40Mt:n ja virkoamisen jälkeen aloitti saman latauksen uudestaan nimikkeellä ***-1.flv. Das hyväkäs bueno task.  :D

Lisähuomiona (aiheen ohi) menköön myös maininta ilmeisesti ext4 osioiden välisen datasiirron aiheuttamasta parin videon korruptoitumisesta niin, että edes VLC ei niitä toistanut. Ongelma aiheutui ilmeisimmin ext4:n joviaaleista mounttaus parametreistä, jotka on "kohun" saattelemana sittemmin korjattu.  :o
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: mrl586 - 08.11.12 - klo:01.23
Lisähuomiona (aiheen ohi) menköön myös maininta ilmeisesti ext4 osioiden välisen datasiirron aiheuttamasta parin videon korruptoitumisesta niin, että edes VLC ei niitä toistanut. Ongelma aiheutui ilmeisimmin ext4:n joviaaleista mounttaus parametreistä, jotka on "kohun" saattelemana sittemmin korjattu.  :o
Kyseessä voi olla kernelibugi (http://blog.manjaro.org/2012/10/31/the-ext4-corruption-bug-is-fixed/). Se on korjattu (http://www.linux.com/news/software/linux-kernel/661507-stable-kernels-3051-3418-and-366-released) kerneleissä 3.4.18 ja 3.6.6.

PS. Siduction (http://siduction.org/)-jakelun kerneleitä voi käyttää quantalissa. Lisäät vain seuraavan rivin /etc/apt/sources.list.d/siduction.list -tiedostoon.
Koodia: [Valitse]
deb ftp://ftp.spline.de/pub/siduction/base unstable mainTämän jälkeen päivität paketit apt-get update -komennolla ja sen jälkeen asennat jakelun bittisyydestä riippuen jonkun seuraavista meta-paketeista.
Koodia: [Valitse]
linux-image-siduction-amd64 - Linux image for siduction on 64-bit PCs
linux-image-siduction-686 - Linux image for siduction on modern PCs
linux-image-siduction-686-pae - Linux image for siduction on modern PCs with pae support
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 20.11.12 - klo:15.05
Auto DL käyttöohjeen ensimmäinen versio on esillä:

http://www.homelinuxpc.com/download/autodl_k%C3%A4ytt%C3%B6ohje.html (http://www.homelinuxpc.com/download/autodl_k%C3%A4ytt%C3%B6ohje.html)

Ohje käsittelee aivan peruskäyttöä näytönkaappauskuvin.
Helpoin asennus on edelleen tämä:

Koodia: [Valitse]
wget -r -O./asenna_autodl homelinuxpc.com/download/asenna_autodl && chmod +x asenna_autodl && ./asenna_autodl  

Koko pitkä rimpsu pitäisi saada ehjänä kopioitua päätteeseen.  Toistaiseksi tämä on vain Ubuntulle ja "yhteensopiville" (ainakin Mint ja Peppermint).  Jos kiinnostusta ilmenee saatan sovitella muihinkin jakeluihin / erikoistoteutuksiin.

Ensiversio myös asennusohjeesta:

http://www.homelinuxpc.com/download/autodl_asennusohje.html (http://www.homelinuxpc.com/download/autodl_asennusohje.html)
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: K-Veikko - 10.12.12 - klo:11.56
Mielestäni tiedostojen käsittely nauhoituksen jälkeen voisi olla jokaisen oma asia.

Ohjelmassa voisi olla ominaisuus: "Suorita XX-ohjelma (nimetty .auto_dl/autodl.conf tiedostossa) lataamisen jälkeen".

Omalla kohdallani ainakin haluan muokata tiedostonimeä. Jokseenkin näin:

Koodia: [Valitse]
rename 's/(.*)([2][0][0-9][0-9]-[0-9][0-9]-[0-9][0-9])(.*)/$2_$1$2$3/' *.flv ; \
rename 's/ /_/g' *.flv ; \
mv *.flv Yle-dl
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: salai - 10.12.12 - klo:17.06
Onhan tuollainen piirre (skriptin ajaminen lataamisen jälkeen) ollut jo pitkään:
http://forum.ubuntu-fi.org/index.php?topic=43484.msg336355#msg336355
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: K-Veikko - 12.12.12 - klo:11.27
FAILURE

Johtuukohan kahdesta peräkkäisestä ä:stä tiedostonimessä vai mistä sitten. Mutta autodld yrittää kahta videota yhä uudestaan ja uudestaan. Saman feedin muut lataukset onnistuivat.

Feed on



Ladatun tiedoston nimi



Lokia
cat /opt/auto_dl/logs/recorded.log



Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: Hajakenttä - 12.12.12 - klo:18.25
En kai sitten kuulu edistyneisiin käyttäjiin kun en saanut asennettua. :(

Onkohan asennuksen lyhyt oppimäärä uusiutunut tuon 26.9. jälkeen? Tein siitä vaiheet 1 ja 2 ja sitä enempää en edes yrittänyt kun sain vain virheitä aikaiseksi. Mikähän minulla mahtaa olla väärin?

Vaiheessa 1 (yle-dl asennus) tulee pitkät rimpsut tekstiä ja tiedoston latausta ja lopuksi ilmoitus: "chmod: muutettaessa tiedoston ”asenna_yle-dl.bash” oikeuksia: Toiminto ei ole sallittu"

vaiheessa 2 (foxin launhyn asennus) tulee nyös tiedostojen nouto ym tarpeelist, mutta lopuksi ilmoitus: "chmod: muutettaessa tiedoston ”asennamenut.bash” oikeuksia: Toiminto ei ole sallittu"

sudon laitoin komennon eteen, ja tunnussanan kyseli, ja aloitti suorituksen ihan hyvin.

Vanhan mallin yle-dl on ollut minulla käytössä joskus Lucidin aikaan ja on se hyvin toiminut. Nyt se ei kai asentunut lainkaan, ei ainakaan toimi vanhalla tavalla komentoriviltä. Nyt on käytössä 12.04 Xubuntu. Vaikuttako se asiaan, että tässä SSD muistillisessa koneessa on ext2 tiedostojärjestelmä?

EDIT: Koitin samaa toisella koneella 12.04 Ubuntu (Unity) ja normaali ext4 ja samalta näyttää. :(

EDIT2: Taitaa olla kyse ihan peruskäytöstä. Ko. tiedostot ovat koneella, mutta ne ovat root omistuksessa enkä osaa muuttaa oikeuksia niistä. Miten se taas olikaan? ???
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: Ganymedes - 12.12.12 - klo:19.34
....
Ko. tiedostot ovat koneella, mutta ne ovat root omistuksessa enkä osaa muuttaa oikeuksia niistä. Miten se taas olikaan? ???

komento on, kun käyttäjän nimi on "pekka":

chown pekka jokutiedosto.txt

tai

chown -R pekka jokuhakemisto
(ja kaikille alihakemistoillekin samalla)

sudo pitää laittaa eteen koska muutoin ei ole oikeuksia omistajan vaihtamiseen
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: Hajakenttä - 12.12.12 - klo:19.54
Tattista.

Hyvin lataa. Ja hyvin näyttää elokuvasoitin. Mitenkäs tekstitys saadaan mukaan?

EDIT: Ahaa! Sekin on vain peruskäyttöä. Kyllä se tulee ihan soittimen asetuksista. Ja siitä tulee näköjään oma tiedostokin.

Taidan siis olla kehittyvä käyttäjä. ;D

Kiitos ajaaskel:lle ja kaikille asiaan osallisille uhrautuvasta kehitystyöstä ja ganymedeelle taas avusta Linuxkäytössä.

Hyvää Joulua kaikille.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: Eesaurus - 12.12.12 - klo:20.10
Mitenkäs tekstitys saadaan mukaan?

Areenasta ladattuun videoon? Tekstitys tulee latauksen mukana, sitten ei kun videon päällä hiiren oikealla--->tekstitys--->hae tjs... Riippuu vähän soittimesta, mitä niissä valikoissa sanotaan.

Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: Hajakenttä - 12.12.12 - klo:20.12
Kiitos. Keksin jo ihan itse. Hyvää joulua.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 13.12.12 - klo:12.01
Lainaus
FAILURE, "Auto DL" yrittää yhä uudestaan ja uudestaan...
Uudelleenyritys on tarkoituksella suunniteltu ominaisuus "Auto DL": ssä, se varmistaa jokaisesta nauhoituksesta että "yle-dl" on onnistunut loppuun asti.  
"yle-dl" ohjelmasta on ilmestynyt jonkin aikaa sitten uusi versio joka varmaan korjaa tuon ongelman joka esiintyy vain tietyillä tv-ohjelmilla.  Päivitys käy helpoiten kun ajaa "yle-dl" asennuksen uudestaan.  Tuon voi tehdä asennusohjetta seuraten tai sitten kätevästi tällä rimpsulla päätteessä:

Koodia: [Valitse]
wget --no-cache -r -O./asenna_yle-dl.bash homelinuxpc.com/download/asenna_yle-dl.bash && chmod +x asenna_yle-dl.bash && ./asenna_yle-dl.bash    

Tuo pitkä rimpsu tekee samat asiat peräkkäin kuin asennusohjeessakin tehdään yksitellen käsin.  Jos katsoo tuota pitkää riviä tarkemmin niin siellä on asennuksen vaiheet yhdistetty kahdella "and"-merkillä (&&), tuo tarkoittaa että vain jos edellinen onnistui niin tehdään seuraava vaihe.  

Lainaus
sudon laitoin komennon eteen, ja tunnussanan kyseli, ja aloitti suorituksen ihan hyvin
"sudo": a ei lisätä eteen tätä asennusohjelmaa käytettäessä sillä asennusohjelman sisällä on jo "sudo".  Asennusohjelma ajetaan sellaisenaan ja asennusohjelma kyselee itse salasanaa silloin kun sitä tarvitaan asennukseen.


Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: K-Veikko - 13.12.12 - klo:12.47
Lainaus
FAILURE, "Auto DL" yrittää yhä uudestaan ja uudestaan...
Uudelleenyritys on tarkoituksella suunniteltu ominaisuus "Auto DL": ssä, se varmistaa jokaisesta nauhoituksesta että "yle-dl" on onnistunut loppuun asti.

Asensin ohjelman uudestaan ja sama jatkuu. Video kyllä latautuu täydellisenä koneelle:

md5sum
395bd189d00909a416374938bc2dc2b5  Kännykänheiton maailmanemstari heittää keihästä-2012-08-21T15:35:44-1.flv
395bd189d00909a416374938bc2dc2b5  Kännykänheiton maailmanemstari heittää keihästä-2012-08-21T15:35:44-2.flv
395bd189d00909a416374938bc2dc2b5  Kännykänheiton maailmanemstari heittää keihästä-2012-08-21T15:35:44.flv

Ehkä on jotenkin manuaalisesti merkittävä nuo videot onnistuneeksi, jos tämä lie harvinainen poikkeustapaus.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: Hajakenttä - 13.12.12 - klo:17.56
Lainaus
FAILURE, "Auto DL" yrittää yhä uudestaan ja uudestaan...
Uudelleenyritys on tarkoituksella suunniteltu ominaisuus "Auto DL": ssä, se varmistaa jokaisesta nauhoituksesta että "yle-dl" on onnistunut loppuun asti.  
"yle-dl" ohjelmasta on ilmestynyt jonkin aikaa sitten uusi versio joka varmaan korjaa tuon ongelman joka esiintyy vain tietyillä tv-ohjelmilla.  Päivitys käy helpoiten kun ajaa "yle-dl" asennuksen uudestaan.  Tuon voi tehdä asennusohjetta seuraten tai sitten kätevästi tällä rimpsulla päätteessä:

Koodia: [Valitse]
wget --no-cache -r -O./asenna_yle-dl.bash homelinuxpc.com/download/asenna_yle-dl.bash && chmod +x asenna_yle-dl.bash && ./asenna_yle-dl.bash    

Tuo pitkä rimpsu tekee samat asiat peräkkäin kuin asennusohjeessakin tehdään yksitellen käsin.  Jos katsoo tuota pitkää riviä tarkemmin niin siellä on asennuksen vaiheet yhdistetty kahdella "and"-merkillä (&&), tuo tarkoittaa että vain jos edellinen onnistui niin tehdään seuraava vaihe.  

Lainaus
sudon laitoin komennon eteen, ja tunnussanan kyseli, ja aloitti suorituksen ihan hyvin
"sudo": a ei lisätä eteen tätä asennusohjelmaa käytettäessä sillä asennusohjelman sisällä on jo "sudo".  Asennusohjelma ajetaan sellaisenaan ja asennusohjelma kyselee itse salasanaa silloin kun sitä tarvitaan asennukseen.





Tuo rimpsu näyttäisi olevan pelkän yle-DL:n asennus. Paras tulos tulee kun kaikki kolme rimpsua ajaa peräkkäin. Ja vielä niin, että launchyn asennuskomento, joka kai sisältää menujen asennusksen alustuksen, ensimmäiseksi, jos se ei jo ole foxissa. (Ja tässä välissä foxin uudelleenkäynnistys, jonka se kyllä itsekin pyytää.) Ja sitten tuo em. yle-dl asennus ja viimeiseksi auto DL asennusrimpsu. Jos toimivaankin nauhuriin menee ajamaan päälle uudelleen yle-dl asennuskomennon, menee koko nauhuri rikki. Ei enää vastaa mitään statuskyselyynkään. Ja korjaaminen ei onnistu uudella asennusproreduurilla muuten kuin poistamalla , tai uudelleennimeämällä kaikki asiaan liittyvät kansiot. Voi siinä nyt olla jotain minun taitamattomuuttakin, mutta tähän tulokseen tulin kun parikin kertaa koitin ihan uteliaisuuttani.

Siis... jos olisi koko revohkan asentava piiiitkä komento, niin sen voisi ajaa vain ensiasennuksena. Sitten myöhemmin kun haluaa päivittää automaattinauhuria, se on parasta tehdä pelkällä siihen osaan kajoavalla komennolla. Sitä en kokeillut, mitä launchy sanoo jos sen päälle asentaa uuden samanlaisen.

Auto DL toimii vasta kun kone uudelleenkäynnistetään. Komento: "sudo service autodld status" kertoo kätevästi, onko se asentunut ja käynnissä. Jos ei vastaa mitään niin ei ole asentunut. Niin kävi ainakin minun Xubuntulla siihen asti, että poistin entisen asennuksen ja kaikki sen kansiot. (Sehän meni vähän mönkään alun perin kun tössin sen sudon kanssa). Ja launhyn valikoiden asentumisen voi tarkistaa Firefoxin Työkalut valikosta (kuva), että onko siinä ne "lisää" ja "näytä/poista" rivit.

Nyt ainakin toimii. Kiitos jälleen työmiehille. ;D
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: mrl586 - 13.12.12 - klo:19.37
Päivitys käy helpoiten kun ajaa "yle-dl" asennuksen uudestaan.  Tuon voi tehdä asennusohjetta seuraten tai sitten kätevästi tällä rimpsulla päätteessä:

Koodia: [Valitse]
wget --no-cache -r -O./asenna_yle-dl.bash homelinuxpc.com/download/asenna_yle-dl.bash && chmod +x asenna_yle-dl.bash && ./asenna_yle-dl.bash
Vielä helpommin päivitys käy seuraavilla komennoilla:
Koodia: [Valitse]
#64 bit
wget homelinuxpc.com/download/yle-dl_2.0.2-1_amd64.deb && sudo dpkg -i yle-dl_2.0.2-1_amd64.deb
#32 bit
wget homelinuxpc.com/download/yle-dl_2.0.2-1_i386.deb && sudo dpkg -i yle-dl_2.0.2-1_i386.deb
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 13.12.12 - klo:21.47
Lainaus
FAILURE, "Auto DL" yrittää yhä uudestaan ja uudestaan...
Uudelleenyritys on tarkoituksella suunniteltu ominaisuus "Auto DL": ssä, se varmistaa jokaisesta nauhoituksesta että "yle-dl" on onnistunut loppuun asti.

Asensin ohjelman uudestaan ja sama jatkuu. Video kyllä latautuu täydellisenä koneelle:

md5sum
395bd189d00909a416374938bc2dc2b5  Kännykänheiton maailmanemstari heittää keihästä-2012-08-21T15:35:44-1.flv
395bd189d00909a416374938bc2dc2b5  Kännykänheiton maailmanemstari heittää keihästä-2012-08-21T15:35:44-2.flv
395bd189d00909a416374938bc2dc2b5  Kännykänheiton maailmanemstari heittää keihästä-2012-08-21T15:35:44.flv

Ehkä on jotenkin manuaalisesti merkittävä nuo videot onnistuneeksi, jos tämä lie harvinainen poikkeustapaus.

Asensithan varmasti uusiksi "yle-dl" -osan, ei "Auto DL" ?  No se on kyllä helppoa tarkastaa päätteessä kun kirjoittaa sinne pelkän:

Koodia: [Valitse]
yle-dlyle-dl 2.0.2: Download media files from Yle Areena and Elävä Arkisto
.
eli pitäisi näkyä tuo versio 2.0.2 jos se on ajan tasalla.

Edit:
Hetkinen, tuossahan taitaa olla jokin ongelma uudella "yle-dl" versiollakin kun kokeilee komentoriviltä:

664.925 kB / 7.62 sec (99.6%)
Download may be incomplete (downloaded about 99.60%), try resuming

Antaa statusta 2...   epäonnistui...  tuon takia "Auto DL" huomaa sen ja yrittää uudestaan.  


Tilapäinen korjaus:  

Voit pakkokuitata kyseisen tv-ohjelman nauhoitetuksi näin:

Koodia: [Valitse]
sudo touch /opt/auto_dl/.auto_dl/jobs_done/1640884
jolloin "Auto DL" ei enää uudelleen yritä tuota.   Saman tempun voi tehdä mille hyvänsä ohjelmalle kun vilkaisee Firefox: sta mikä sen ohjelman numero on, näkyy kun hiiri on sen kohdalla.

Koodia: [Valitse]
yle-dl http://areena.yle.fi/tv/1640884"yle-dl" epäonnistuu tuon ohjelman kohdalla myös täällä. Virhekoodi vain näytti nyt vaihtuneen (1)
ERROR: RTMP_ReadPacket, failed to read RTMP packet header
Täytynee laittaa kommentti tuonne "yle-dl" ketjuun.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: 2-mieli-FI-poliisi - 04.01.13 - klo:12.08
Moi.

Auto dl:llä
Background:
    System-V Init     v1.0
    Job Manager     v1.1
    Feed Reader     v1.29
    TSV Converter     v1.11
Foreground:
    Job Maker     v1.14
    Job Editor     v1.16
    TSV Converter     v1.11
    Setup Check     v1.1
on MOT tilattuna ja nyt jo toista vuorokautta lataa samoja pätkiä yhä uudestaan ja uudestaan.

MOT: Potilas, tietojasi urkitaan-2013-01-03T20:28:00.flv (1,3Mt, 15sek)
MOT: Potilas, tietojasi urkitaan (traileri)-2013-01-03T20:28:00.flv (1,3Mt, 15sek)

Ilmeisesti noissa on koko minitraileri(?), mutta se taidetaan tulkita (kokonsa vuoksi?) keskeytyneeksi lataukseksi. Pian olen poistanut noita tiedosoja 40 kpl ja alkaahan se pikkuhiljaa ärsyttää.  :o

Tämä ihan vaan tiedoksi.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 04.01.13 - klo:13.15
Lainaus
Pian olen poistanut noita tiedosoja 40 kpl ja alkaahan se pikkuhiljaa ärsyttää.

Se lienee tämä:

http://areena.yle.fi/tv/1785779 (http://areena.yle.fi/tv/1785779)

Tuo on sama ilmiö kuin tuolla aiemminkin "yle-dl" ohjelmassa:

1378.097 kB / 15.08 sec (99.8%)
Download may be incomplete (downloaded about 99.80%), try resuming
Koodia: [Valitse]
echo $?2

Auto DL uudelleen yrittää niin kauan kunnes "yle-dl" ilmoittaa latauksen onnistuneen.  Tuo vika pitäisi korjata "yle-dl" ohjelmassa jota Auto DL käyttää latausten tekemiseen.    

Lisään Auto DL ohjelmaan laskurin joka rajoittaa latausyritykset johonkin määrään, lieneekö 5 sopiva oletusarvo ?

Tilapäisenä apuna tuon voi pakkokuitata tehdyksi samalla tavalla kuin tuolla ylempänäkin, ohjelman id-numero vaan on nyt 1785779.

Koodia: [Valitse]
sudo touch /opt/auto_dl/.auto_dl/jobs_done/1785779
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: 2-mieli-FI-poliisi - 04.01.13 - klo:13.50
En aivan tarkkaan muista kuinka monta failiä on ollut enimmillään, ennen onnistunutta!
Kyllä tuo 5 tuntuu sopivalta ja 7 on jo vähän liikaa.

Huomasin kyllä nuo yllä, mutta kun olin jo naputellut.  ;D
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: 2-mieli-FI-poliisi - 04.01.13 - klo:13.55
Mietintämyssyyn täytettä:

Mikäli Yle alkaa jatkossa julkaista ohjelmien trailereita ja ennakkoja nykyistä enemmän niin auto dl:ään lienee hyvä miettiä heuristiikka sanoille traileri (MOT) ja ennakko (Suomensukuiset 30 päivässä).
- Trailerit voisi jättää lataamattakin, koska varsinainen ohjelma ladataan vasiten tilattuna joka tapauksessa.
- Ennakko julkaisut voinnee uudelleennimetä ja merkitä ladatuksi vasta sen jälkeen, jolloin ei tule tuplalatauksia.
Paljon on kiinni myös siitä kuinka järkevää ja yhtenäistä "nimeämis jne. politiikka" Areena käyttää.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: Illu - 04.01.13 - klo:14.09
Paljon on kiinni myös siitä kuinka järkevää ja yhtenäistä "nimeämis jne. politiikka" Areena käyttää.

Täysin mielivaltaista ja ohjelmista saattaa olla useampiakin tallenteita eri nimillä. Usein jaksot myös jäävät kokonaan pois tai tulevat vasta pyynnön jälkeen. Näin siis radiopuolella.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 05.01.13 - klo:14.11
Lainaus
En aivan tarkkaan muista kuinka monta failiä on ollut enimmillään, ennen onnistunutta!
Kyllä tuo 5 tuntuu sopivalta ja 7 on jo vähän liikaa.
No nyt on koodattu rajoitin mukaan.  Tein ensin niin että arvo oli kiinteä 5 yritystä mutta täydensin sen lopulta niin että käyttäjä voi itse laittaa yritysmäärän miksi haluaa.  Se on nyt oletuksena 5 yritystä ellei muuta sitä itsetehdyn "autodl.conf" tiedoston kautta.  

Auto DL yrittää nyt enintään 5 kertaa saman ohjelmajakson latausta.  Kun aika tulisi kuudennelle yritykselle se huomaa että on jo yritetty maksimimäärä, merkitsee latauksen tehdyksi ja kirjoittaa huomautuksen epäonnistumisesta ---> /opt/auto_dl/logs/recorded.log.  Tältä se nyt näyttää (uusi muuttujakin näkyy siellä):

Koodia: [Valitse]
.auto_dl/adl_chk
Checking Auto DL setup:
Background:
    System-V Init     v1.0
    Job Manager     v1.1
    Feed Reader     v1.31
    TSV Converter     v1.11
Foreground:
    Job Maker     v1.14
    Job Editor     v1.16
    TSV Converter     v1.11
    Setup Check     v1.11

Configuration:
    Default DownloadPath=/home/arto/Videot
    Default WindowHeight=600
    Default WindowWidth=400
    Default UseWinFilenames=no
    Default MaxDownloadCount=5
    Default RecordExitTask=no

Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: K-Veikko - 05.01.13 - klo:21.35
FAILURE
Johtuukohan kahdesta peräkkäisestä ä:stä tiedostonimessä vai mistä sitten. Mutta autodld yrittää kahta videota yhä uudestaan ja uudestaan. Saman feedin muut lataukset onnistuivat.

Tuo ongelma sitten jatkui jatkumistaan, kunnes tyhjensin [yle-dl] hakemiston. – Enää ei lataa noita kahta tiedostoa uudestaan ja uudestaan.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 05.01.13 - klo:23.16
Viimeisin (laitettu esille tänään) Auto DL versio laskee ja kirjaa "yle-dl" ohjelman tekemät latausyritykset ja luovuttaa viiden (5) yrityksen jälkeen eli se ei enää jää ikuisesti yrittämään jos lataus jää kesken.  Auto DL ei itse tarkasta erikseen miten pitkälle lataus onnistui vaan lukee vain "yle-dl" ohjelman antaman vastauksen onnistuiko vai ei.

 
Lainaus
...tyhjensin [yle-dl] hakemiston...

Kertoisitko hieman tarkemmin, siis tyhjäsit minkä ?   Jos "yle-dl" ilmoittaa epäonnistuneensa tehtyään 99,6 % latauksesta niin se tekee sen säännönmukaisesti kaikilla testikoneillani kyseisellä tv-ohjelmalla/jaksolla.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: K-Veikko - 05.01.13 - klo:23.33
Lainaus
...tyhjensin [yle-dl] hakemiston...

Kertoisitko hieman tarkemmin, siis tyhjäsit minkä ?  

Tyhjensin kaikki ladatut ohjelmat hakemistosta, johon ohjelma lataa nämä flv tiedostot.

Aluksi nämä kaksi jaksoa tulivat eri nimisinä (.1, .2, ...) samaan hakemistoon.

Sitten tein nimeämis-skriptin, joka kirjoitti edellisen päälle. Ladatun ohjelman päiväyksestä kuitenkin näin, että se latautui aina uudestaan. Samoin, jos poistin tiedoston. Tai käynnistin yle-dl ohjelman uudestaan.

Minulla ei ole mitään käsitystä siitä miksi uudelleen latautuminen loppui siihen samaan hetkeen kun poistin kaikki tiedostot tästä latauskansiosta, joka on määritelty ohjelman asetuksissa.

EDIT:
Silloin alkuvaiheessa, kun tiedostoja tuli paljon, otin (muistaakseni) niistä md5sum'n ja ne olivat identtisiä.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 06.01.13 - klo:00.13
Tämä kuuluisi oikeastaan tuonne "yle-dl" keskusteluketjuun mutta asia heijastuu myös Auto DL: n käyttöön.   
Tiettävästi on edelleen kaksi hieman erilaista vikaa jotka esiintyvät "yle-dl": n kanssa: 
1) Lataus onnistuu liki loppuun (esim 99,6%) mutta jokunen prosentin kymmenys jää puuttumaan ja "yle-dl" ilmoittaa Auto DL: lle latauksen epäonnistuneen.
2) "yle-dl": n käyttämä "rtmpdump" jumii jotenkin itsensä, nostaa hyvin korkean kuorman eikä lopeta itseään muuten kuin erikseen tappamalla.   

Noista kahdesta, liiallisia uudelleenyrityksiä vastaan Auto DL on nyt oletuksena rajattu viiteen. CPU kuormituksen seurantaa Auto DL ei sisällä.  Sitä ei oikeastaan tarvittaisikaan jos Auto DL: n kutsumat latausohjelmat olisivat "satavarmoja" mutta tuota voidaan miettiä vielä. 
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: 2-mieli-FI-poliisi - 08.01.13 - klo:18.26
Lisää huomiota "viime ajoilta".

Yle-dl (launchy --lataa) ei ole enää aiheuttanut cpu kuorman nousua. Auto-dl:ssä en ole samaa ongelmaa koskaan edes havainnut.

Joskus kun Auto-dl on jäänyt luuppin, olen onnistunut lataamaan ko. ohjelman Yle-dl:llä. Toisinaan ei kumpikaan ole onnistunut kun vasta "yön yli nukuttua". Ylen palvelimilla voinee joskus olla ohjelmakohtaisesti "bittiä poikittain", tiedostot sirpaloituneet(?) tms. väljyyttä datassa.

En ole myöskään törmännyt tuohon, että lataukset aiheuttavat ongelmia vasta 99,6% kohdalla. Tosin päättestä käytettynä Yle-dl:n laskuri ei ole tainnut milloinkaan näyttää 100% vaikka lataukset on tehty täysin onnistuneesti. Pyöristettynä luvut näyttäisivät oikeammilta(?).

Viimeksi (ajat sitten) kun kokeilin aloittaa videon katselun "heti" latauksen alettua se onnistui vallan mainiosti. Data latautui koneelle "live stream järjestyksessä", eli jos näin on edelleen niin megan tai kahden (hypoteettinen) puuttuminen "lopputeksteistä" ei kenenkään venettä kaada.

Näillä ajatuksin tällä kertaa.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: mrl586 - 08.01.13 - klo:18.33
Yle-dl (launchy --lataa) ei ole enää aiheuttanut cpu kuorman nousua. Auto-dl:ssä en ole samaa ongelmaa koskaan edes havainnut.
Firefox, se cpu-kuorman nousun aiheuttaa.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 06.03.13 - klo:09.47
Laitan ohjelinkit esille löytämistä helpottamaan:

Auto DL asennusohje:
http://www.homelinuxpc.com/download/autodl_asennusohje.html (http://www.homelinuxpc.com/download/autodl_asennusohje.html)

Auto DL käyttöohje:
http://www.homelinuxpc.com/download/autodl_k%c3%a4ytt%c3%b6ohje.html (http://www.homelinuxpc.com/download/autodl_k%c3%a4ytt%c3%b6ohje.html)

Lyhyesti:
Auto DL -automaattinauhoitus toimii ikään kuin nauhoittava digiboxi omassa tietokoneessasi mutta netin kautta.  Ei tarvitse olla itse paikalla nauhoittamassa kunhan vain muistaa jättää Linux-koneen (Ubuntu, Mint, vastaavat) käyntiin.  Käyttäjän ei tarvitse olla kirjautuneena koneelle, Auto DL on kirjoitettu itsenäiseksi palvelinohjelmistoksi joka toimii järjestelmän yhteydessä taustalla.  Ohjelma ei kuormita konetta juuri lainkaan, kuormaa syntyy vain silloin kun nauhoitus aktivoituu uuden ohjelmajakson tultua Areenaan.  Vähäisten laitevaatimusten vuoksi olen itse käyttänyt vanhaa Amd XP -konetta jonka olen piilottanut olohuoneen ison television taakse nauhoittelemaan pääasiassa lasten ohjelmia.  Nauhoituksen puolesta tuohon kävisi hyvin myös jokin äänetön mikrokokoinen kone, riittäisi että  Ubuntu toimii ja että saisi tallennustilaa.    
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: samihs72 - 04.04.13 - klo:17.05
Tässäkin ketjussa oli mainittu, että Raspberry PI:llä oli yritetty virittää Auto DL:ää käyttöön.. Itselläni on käytössä Raspbmc distro ja siinä näyttäis olevan bash versio 4.2.37. Miten tuon Auto-DL:n sais konffattua komentoriviltä ja laitettua omat tallennukset jonoon?

Koodia: [Valitse]
pi@raspbmc:~$ bash --version
GNU bash, version 4.2.37(1)-release (arm-unknown-linux-gnueabihf)
Copyright (C) 2011 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>

This is free software; you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.
pi@raspbmc:~$

Olisin kiitollinen vastauksista!
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 05.04.13 - klo:01.01
En ole yhtään tutustunut "Raspin" käyttöjärjestelmiin vielä mutta jos puhutaan teknisten periaatteiden tasolla niin Auto DL menee kohtuullisella vaivalla kaikkiin Debian pohjaisiin jakeluihin joissa on "SysV Init" käytettävissä. Raspbmc: kin käsittääkseni on tuollainen.  Koska kysessä ei ole Intel-alusta niin lisätöitä joudut tekemään ainakin että laitat "yle-dl" ohjelman ensi töinä toimimaan siinä eli se pitäisi kääntää tuolle ARM-alustalle.   Tuon kun olet tehnyt niin autan että ratkaisut löytyvät loppuunkin. Kerron myöhemmin lisää.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: samihs72 - 05.04.13 - klo:07.55
En ole yhtään tutustunut "Raspin" käyttöjärjestelmiin vielä mutta jos puhutaan teknisten periaatteiden tasolla niin Auto DL menee kohtuullisella vaivalla kaikkiin Debian pohjaisiin jakeluihin joissa on "SysV Init" käytettävissä. Raspbmc: kin käsittääkseni on tuollainen.  Koska kysessä ei ole Intel-alusta niin lisätöitä joudut tekemään ainakin että laitat "yle-dl" ohjelman ensi töinä toimimaan siinä eli se pitäisi kääntää tuolle ARM-alustalle.   Tuon kun olet tehnyt niin autan että ratkaisut löytyvät loppuunkin. Kerron myöhemmin lisää.

Kiitos ajaaskel! Mä en tässä vaiheessa halua enkä pysty pioneeriksi. Täytyy katsella myöhemmin, ajattelin, jos joku olisi jo hommaa kokeillut. Mulla on vaihtoehtona normaal desktop pc, jossa virittimet ja tvheadend mutta sen pitäis olla 24/7 päällä ja en oikein haluais siihen mennä ensimmäisenä.. Täytyy tuumailla vielä.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 05.04.13 - klo:09.26
Lainaus
...jos joku olisi jo hommaa kokeillut.
(Raspberry Pi + muut ARM)
Jos et ole kiireinen niin olen aika varma että joku tekninen kollega sen tekee jossain vaiheessa ARM-laitteille.  Tuohon pitäisi saada toimiva rtmpdump ensin ja kokeilla että yle-dl lataa oikein, Auto DL osasta voin antaa tekijälle teknistä kuvausta ja tukea niin että se tulee järjestykseen, jäljelle jää sitten oikeastaan töiden laittaminen Auto DL: lle kun se käynnistyy ok.  Sekin onnistuu mistä ohjelmointikielestä hyvänsä  tuon tällä hetkellä käytetyn Firefox+Launchy yhdistelmän lisäksi ja sille on helppoa kehitellä uusia käyttöliittymiä tilanteen mukaan ainakin Auto DL rajapinnan puolesta. Pelkkä komentorivikäyttökin onnistuu myös helposti.          
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: nm - 05.04.13 - klo:09.45
Raspbmc on Raspbian, jonka LXDE-työpöytä on korvattu XBMC:llä. Raspbianiin saa suoraan rtmpdump 2.4 (http://archive.raspbian.org/raspbian/pool/main/r/rtmpdump/) ja python-crypto (http://archive.raspbian.org/raspbian/pool/main/p/python-crypto/) (=pycrypto) -paketit, joten yle-dl:n ja Auto DL:n asennus on helppoa.

Ei muuta kuin kokeilemaan. Apua saa kysymällä, jos törmäät johonkin ongelmaan.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: samihs72 - 05.04.13 - klo:10.55
Python-crypto paketti onkin jo asennettu, tarvittiin YLE-areena XBMC pluginia varten.. Eli siis rtmpdump paketin asennus ja auto-dl asennus+konffaus olis se homma... Hmm... Mitä vaihtoehtoja mulla olis konffata auto-dl:ää, kun raspbmc:ssä ei ole firefox+launchy vaihtoehtoa..?
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: nm - 05.04.13 - klo:12.05
Mitä vaihtoehtoja mulla olis konffata auto-dl:ää, kun raspbmc:ssä ei ole firefox+launchy vaihtoehtoa..?

Ennen kuin joku koodaa tällaisen ominaisuuden XBMC:n liitännäiseen, helppo ratkaisu on tehdä Auto DL:n asetukset toisella koneella Firefoxin ja Launchyn avulla ja kopioida asetustiedosto Raspberryyn.

Jatkuvaa käyttöä varten Auto DL:n asetustiedoston kopioinnin voi automatisoida vaikkapa inotifywaitin (http://xaroumenosloukoumas.wordpress.com/2011/01/28/watching-directories-for-file-changes-with-inotifywait/) ja scp:n avulla, jos konfiguroit SSH-kirjautumisen Raspbmc:hen pelkän avaimen perusteella (http://www.debian-administration.org/articles/530).
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 05.04.13 - klo:12.06
Komentorivikäyttö

Nauhoitettavien ohjelmien lisäys:

Nauhoitustöitä voi lisätä helposti päätteessä komentoriviltä.  Tutustutaan ensin vaikka näin:  

1)  Avaa jokin webbiselain, mikä hyvänsä.   Mene YLE Areenaan ja etsi sieltä jokin ohjelmaryhmä. Esimerkiksi "Lapset" on kokeiluun hyvin sopiva, lyhkäisiä ohjelmia koenauhoitettavaksi.   Sen alla näkyy "Pikku kakkosen ohjelmia" ja vieressä  syötekuvake (RSS).  Älä klikkaa sitä vaan kopioi siitä osoite hiiren oikealla napilla (Copy Link Location).  Se näkyy myös webbiselaimen nurkassa jo kun vie hiiren tuon kuvakkeen päälle, pitäisi näkyä:  "http://areena.yle.fi/api/list.rss?id=1392607"

2)   Mene päätteeseen ja kirjoittele tähän tapaan:

  
Koodia: [Valitse]
  .auto_dl/new_jobs   "http://areena.yle.fi/api/list.rss?id=1392607"  
Huomaatko että tuossa käynnistetään ensin "new_jobs" ohjelma joka on ".auto_dl" kansiossa ja annetaan sille kohteeksi tuo Areenan Pikkukakkosen syötelinkki lainausmerkeissä ?   Voit myös kopioita tuosta yläpuolelta suoraan ja tipauttaa päätteeseen.   Eteesi avautuu ikkuna josta voit lisätä nauhoitettavia ohjelmia.   Tuolla tavalla voit lisäillä nauhoitettavia ohjelmia helposti.  


Nykyisen listan katselu ja ohjelmien poisto:

Mene päätteeseen ja kirjoita:

 
Koodia: [Valitse]
.auto_dl/edit_jobs
Helppoa ?

Myös tuo "nm": n idea asetustiedoston siirtämisestä on ihan ok, ei olisi heti tullut mieleen noin päin.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: samihs72 - 05.06.13 - klo:12.55
Toimiiko Auto DL Maikkarin Katsomon ja/tai Nelonen Ruutu.fi:n kanssa nykyään?
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 07.06.13 - klo:18.07
Ei ole kummallakaan vielä käytössä syötetekniikkaa jonka Auto DL vaatii.  YLE Areena on ehtinyt ensimmäisenä Suomessa ja on edelläkävijä asiassa. Pallo on ohjelmatuottajilla rakentaa Areenan kaltainen ja toivottavasti myös mahdollisimman Auto DL yhteensopiva järjestelmä.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: samihs72 - 07.06.13 - klo:19.45
Ei ole kummallakaan vielä käytössä syötetekniikkaa jonka Auto DL vaatii.  YLE Areena on ehtinyt ensimmäisenä Suomessa ja on edelläkävijä asiassa. Pallo on ohjelmatuottajilla rakentaa Areenan kaltainen ja toivottavasti myös mahdollisimman Auto DL yhteensopiva järjestelmä.

Kiitos tiedosta! No, kyllä aikanaan varmaan päivittävät nämä muutkin syötetekniikkaansa tältä osin. Auto DL idea on kyllä todella loistava!
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: mrl586 - 08.06.13 - klo:09.25
Ei kai tallennuksiin syötteitä tarvita, jos käyttää samaa lähestymistapaa kuin britti-YLE:n eli BBC:n ohjelmien tallennukseen suunnitellussa skriptissä (http://git.infradead.org/get_iplayer.git)?
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: Tomin - 13.07.13 - klo:11.44
Mitähän kannattaisi tehdä, kun autodl lakkasi lataamasta jaksoja?
/opt/auto_dl/logs/failure.log:
Koodia: [Valitse]
2013-07-08 12:45:55 +0300 Http error: wget: ei kyetty ratkaisemaan verkkoasemaosoitetta ”areena.yle.fi”
2013-07-11 13:22:35 +0300 Http error: Lukuvirhe (Vastapää sulki yhteyden) otsakkeissa.
Lukuvirhe (Vastapää sulki yhteyden) otsakkeissa.
ja viimeinen rivi monta kertaa uudestaan. Ei ole tuon 11. päivän jälkeen ladannut uusia. Noilla ei onneksi ole mitään kiirettä vielä ja voihan ne nyt ladata käsin, mutta olisi kiva tietää miksi tuo ei toivu virheistä.

Jos sillä on mitään väliä, ajan tuota kotipalvelimella, jossa on kyllä X asennuttuna, mutta ei esim. Firefoxia. Zenity-jutut toimivat ssh:n yli kyllä.

Ai niin, tuonkin tarkistin:
Koodia: [Valitse]
# service autodld status
 * autodld is running
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: K-Veikko - 14.07.13 - klo:13.16
Mitähän kannattaisi tehdä, kun autodl lakkasi lataamasta jaksoja?

Itselläni oli outo toiminto,
http://forum.ubuntu-fi.org/index.php?topic=43484.msg340850#msg340850
joka korjaantui, kun tyhjensin kokonaan tallennuskansion.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 15.07.13 - klo:20.13
Kävinpä etänä ssh: lla katsomassa kotimme "telkkukonetta".  Jotain näyttää tapahtuneen:

2013-07-04 09:11:34 +0300 Scheduling retry after 15 minutes.
2013-07-08 23:03:38 +0300 Http error: wget: unable to resolve host address `areena.yle.fi'
2013-07-11 13:19:57 +0300 Http error: Read error (Connection reset by peer) in headers.
Read error (Connection reset by peer) in headers.
Read error (Connection reset by peer) in headers.
Read error (Connection reset by peer) in headers.

Harmillista, nauhoitellut mukavasti jo pitkään.
Tutkin kun ehdin mutta jos joku ehtii ennen minua niin hyvä sillä olen tällä hetkellä ulkomailla läppärin varassa.  

Edit
Lääke saattaa olla hyvin yksinkertainen, pääte auki ja kirjoittelee uudelleen käynnistyksen:

Koodia: [Valitse]
sudo service autodld restart
Joo, lähti jatkamaan siitä mitä oli jäänyt tekemättä :)

Tilannetta on aika helppoa tutkia (etänäkin) päätteessä.  Mitä näin oli että feedlukijat (get_feed) olivat joutunut vaikeuksiin ja lopettaneet itsensä.  Nykyisellään syötelukijoiden hallintakoodi ei pakota syötelukijaa uudestaan käyntiin jos lukija luovuttaa itse (="ylivoimainen este") ilman hallitsevan koodin antamaa sulkeutumiskäskyä. 

Helppoja pikku tarkastuksia uudelleen käynnistyksen jälkeen:
1)  failure.log tiedoston päiväys kannattaa kurkistaa:

Koodia: [Valitse]
ls -l /opt/auto_dl/logs
-rw-r--r-- 1 root root 134236 heinä 11 13:32 failure.log

Näkee heti että uusia virheitä ei tullut heti uudelleenkäynnistyksen jälkeen.

2)  Viimeisimpiä nauhoitettuja:

Koodia: [Valitse]
tail /opt/auto_dl/logs/recorded.log
Tuonne pitäisi ilmestyä merkintä aina kun nauhoitus alkaa ja loppuu.

Kun saan aikaa parantelen nettiyhteysvirheiden sietoa ja kirjoitan valvontakoodin rtmpdump: lle joka jossain toistaiseksi tuntemattomassa tilanteessa "karkaa käsistä" jumittuen ja jääden kuormittamaan.  Muita isompia puutteita en ole havainnutkaan mutta nuo kaksi ovat jo bugilistallani.

Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: Tomin - 15.07.13 - klo:23.06
Yhden tallennuksen sain korjattua lisäämällä uudestaan, mutta toinen ei toennut sillä. Tuo uudelleen käynnistäminen ei jostain syystä edes tullut mieleeni. Nythän tuo näkyy taas tallentavan. Lokeja ymmärsin kyllä vilkaista ja eikä noihin ole mitään uutta tullut nytten.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 09.08.13 - klo:22.05
Versiot taas hieman edenneet:
Checking Auto DL setup:
Background:
    System-V Init     v1.0
    Job Manager     v1.2
    Feed Reader     v1.32
    TSV Converter     v1.11
Foreground:
    Job Maker     v1.14
    Job Editor     v1.16
    TSV Converter     v1.11
    Setup Check     v1.11

Configuration:
    Default DownloadPath=/home/arto/Videot
    Default WindowHeight=600
    Default WindowWidth=400
    Default UseWinFilenames=no
    Default MaxDownloadCount=5
    Default RecordExitTask=no


Muutokset:


Tuo sammutus itsessään ei haittaa sillä ylemmän tason koodi tekee silloin hetken päästä uudelleen yrityksen.


Kehityksen aiheita:
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 11.08.13 - klo:16.22

Etäkäyttö

Kokeilin hieman käytännössä tilannetta jossa AutoDL on kotonani ja itse olen ulkomailla.  Otin ensin SSH yhteyden kotikoneeseeni niin että myös grafiikka välitetään (eli "-X" tuonne ssh: n perään):

Koodia: [Valitse]
ssh -X  80.220.xx.yy
Nauhoitustöiden lisäys:

Katselin webbiselaimella tavalliseen tapaan YLE Areenasta mitä haluaisin talteen.  Menin sitten RSS-kuvakkeen päälle ja valitsin "Kopioi linkin kohde".  Sitten vain päätteeseen takaisin ja kirjoittelin sinne:

Koodia: [Valitse]
.auto_dl/new_jobs  "http://areena.yle.fi/tv/kaikki.rss"
Tuon linkin tipautin sinne Ctrl-Shift-V näppäinyhdistelmällä, vaihtohtoisesti hiiri tekisi toki saman.  Odottelin hetken ja menu aukeni josta pääsee ruksimaan ohjelmia. Etäyhteydellä on pieniä viiveitä näytön päivittymisessä eli rauhallisesti kun on ruksi tehty ja tulee näkyviin hetken päästä.  Vahvistus lopuksi "OK" napista.

Tarkastaminen tai poistaminen:

Koodia: [Valitse]
.auto_dl/edit_jobs
Onkin jo ohjelma nauhoittunut kotikoneella sillä aikaa kun tätä kirjoittelin.




Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: samihs72 - 15.10.13 - klo:15.45
Mitä vaihtoehtoja mulla olis konffata auto-dl:ää, kun raspbmc:ssä ei ole firefox+launchy vaihtoehtoa..?

Ennen kuin joku koodaa tällaisen ominaisuuden XBMC:n liitännäiseen, helppo ratkaisu on tehdä Auto DL:n asetukset toisella koneella Firefoxin ja Launchyn avulla ja kopioida asetustiedosto Raspberryyn.

Jatkuvaa käyttöä varten Auto DL:n asetustiedoston kopioinnin voi automatisoida vaikkapa inotifywaitin (http://xaroumenosloukoumas.wordpress.com/2011/01/28/watching-directories-for-file-changes-with-inotifywait/) ja scp:n avulla, jos konfiguroit SSH-kirjautumisen Raspbmc:hen pelkän avaimen perusteella (http://www.debian-administration.org/articles/530).
Moi! Jouduin vaihtamaan Raspbmc:n Openeleciin YleAreena pluginin toimimattomuuden takia Raspbmc:ssä.. Openelec on paljon rajoitetumpi, ei voi asennella lisä repositoryja tms. Onko Openeleciin mitään muuta mahdollisuutta saada auto-dl toimimaan kuin odottaa XBMC-pluginia? Rtmpdump openelecistä kyllä löytyy, jos olen oikein ymmärtänyt kuuklailun perusteella..
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: Hajakenttä - 11.11.13 - klo:15.22
On alkanut tulla "haamutehtäviä". Sellaisia latauksia, joita en ole tilannut. Niitä tulee vähitellen uusia lisää. Tilatut videot kyllä latautuvat automaattisesti moitteetta. Katsoin version ja se näytti olevan kovin vanha ja asensin päälle uudestaan. Vanha oli tämä:

Koodia: [Valitse]
timo@timpat:~$ .auto_dl/adl_chk

Checking Auto DL setup:
Background:
System-V Init v1.0
Job Manager v1.1
Feed Reader v1.31
TSV Converter v1.11
Foreground:
Job Maker v1.14
Job Editor v1.16
TSV Converter v1.11
Setup Check v1.11

Configuration:
Default DownloadPath=/home/timo/Videot
Default WindowHeight=600
Default WindowWidth=400
Default UseWinFilenames=no
Default MaxDownloadCount=5
Default RecordExitTask=no

Kun asensin uuden tuolla alussa olevalla pitkällä komennolla, ei lataus toiminut lainkaan ja Job Manager, Feed Reader ja TSV Converter ilmoittivat "not found" punaisella kirjoitettuna. Asennuksen aikana tuli myös ilmoitus puuttuvasta yle-dl:stä ja asentui korvaava yle-dl. (Ehkä tein komennon kopioinnin huolimattomasti.) Asensin samalla komennolla uudestaan ja sitten alkoi toimia. Uusi versio on tämä:

Koodia: [Valitse]
timo@timpat:~$ .auto_dl/adl_chk

Checking Auto DL setup:
Background:
System-V Init v1.0
Job Manager v1.2
Feed Reader v1.32
TSV Converter v1.11
Foreground:
Job Maker v1.14
Job Editor v1.16
TSV Converter v1.11
Setup Check v1.11

Configuration:
Default DownloadPath=/home/timo/Videot
Default WindowHeight=600
Default WindowWidth=400
Default UseWinFilenames=no
Default MaxDownloadCount=5
Default RecordExitTask=no

Lienee nyt viimeisin...

Katsoin myös sen yle-dl version:

Koodia: [Valitse]
timo@timpat:~$ yle-dl
yle-dl 2.1.0: Download media files from Yle Areena and Elävä Arkisto
Copyright (C) 2009-2013 Antti Ajanki <antti.ajanki@iki.fi>, license: GPLv2 ...

Se näyttäisi olevan myös entistä versiota uudempi...

Silti alkoi heti lataus kahdesta videosta, joita en ole missään vaiheessa hiirellä sohinut tai tilannut. Launchyn listassa on vain yksi tilaus, "Naapureita ja salaisuuksia" ja se kyllä tallettuu uskollisesti ja oikein. "Haamutilaukset" näkyvät näin:

Koodia: [Valitse]
timo@timpat:~$ tail /opt/auto_dl/logs/recorded.log
2013-11-11 14:08:58 +0200  Start: : Elokuva: Vielä neljä vuotta (12) http://areena.yle.fi/tv/1217992 --> /home/timo/Videot
2013-11-11 14:09:00 +0200  Start: : Kotikatsomo: Laitakaupungin valot (7) http://areena.yle.fi/tv/1349130 --> /home/timo/Videot
2013-11-11 14:27:52 +0200  Done: : Elokuva: Vielä neljä vuotta (12) http://areena.yle.fi/tv/1217992
2013-11-11 14:28:14 +0200  Done: : Kotikatsomo: Laitakaupungin valot (7) http://areena.yle.fi/tv/1349130

Sekin on outoa, että nuo näkyvät logissa kahdesti, vaikka "Vielä neljä vuotta" latautui kolmesti ja "Laitakaupungin valot" neljästi, kunnes autodld itse lopetti. Kaikki ladatut tiedostot ovat ehjiä ja kelvollisia katsoa. Autodld jäi taustalle käyntiin kuten pitääkin:

Koodia: [Valitse]
timo@timpat:~$ sudo service autodld status
[sudo] password for timo:
 * autodld is running

"Haamujen" latautuminen oli aivan kuin muidenkin, normaalin näköistä, hyvin vähän prosessorikuormaa ja muistinkäyttöä. Näitä tilaamattomia on tullut muutama ennenkin ja autodld näyttää olevan tyytyväinen saatuaan sen tehtyä. Kun tarpeettomat videot on heivattu pois niitä ei ladata uudelleen. Ei sittenkään vaikka restarttaa autodld:n.

Ei tästä suurta haittaa ole ja pärjään tämän kanssa. Tämähän on vähän tällainen extremelaji. Kirjoitin nämä tänne vaan siksi, että tällä saattaa olla jotain merkitystä kehittämisessä.
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 12.11.13 - klo:20.56
Lokitiedostoista pystyy yleensä aika pitkälle jäljittämään mitä siellä on tapahtunut.   Nauhoitustapahtuma kirjoittaa aloitusajan ensi töinään, päättyessään se kirjoittaa merkinnän joko onnistumisesta (=sen pituinen se) tai epäonnistumisesta (=yritetään uudestaan kunnes onnistuu tai 5 yritystä tuli täyteen).  Auto DL luottaa tuossa "yle-dl" ohjelman ilmoitukseen nauhoituksen lopputuloksesta.   Joskus on käynyt että nauhoitus on mennyt 99,8 % tai jotain tuota luokkaa valmiiksi, "yle-dl" ilmoittaa epäonnistui kun 0,2 % puuttuu ja uudelleenyrityksen vuoksi nauhoittuu 5 kertaa sama.

Tilatut työt näkee päätteessä tällä:

Koodia: [Valitse]
.auto_dl/edit_jobs
mutta tarvitsee käydä kurkkimassa kullakin käyttäjätunnuksella erikseen jos koneella on monta käyttäjätunnusta.

Viimeisimmät lisäykset/muutokset Auto DL ohjelmassa ovat:
1) Kuorman seuranta eli "rtmpdump" -ohjelman jumittuminen korkealle kuormalle aiheuttaa sen automaattisen lopettamisen
2) Yhteysvirheistä toipumista on paranneltu
Otsikko: Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
Kirjoitti: ajaaskel - 19.01.14 - klo:22.57

Komentorivillä voi kysellä nauhoitushistoriasta esimerkiksi näitä:

Tänään valmistuneet nauhoitukset
Koodia: [Valitse]
grep -E $(date +%F)'.*Done:'  /opt/auto_dl/logs/recorded.log
Tänään valmistuneet tai vielä työn alla olevat nauhoitukset
Koodia: [Valitse]
grep -E $(date +%F)  /opt/auto_dl/logs/recorded.log
Tänään sattuneet nauhoitusten katkeamiset
Koodia: [Valitse]
grep -E $(date +%F)'.*FAILURE:'  /opt/auto_dl/logs/recorded.log
Koko historian nauhoitusten katkeamiset
Koodia: [Valitse]
grep -E '.*FAILURE:'  /opt/auto_dl/logs/recorded.log
Jos haluat usein kysellä noita niin kyseisen rimpsun voi tallettaa editorilla johonkin tiedostoon, antaa tiedostolle ajo-oikeuden ja ajaa sitten sen antamalla eteen piste-kauttaviivan.  Esimerkiksi:     ./tänään_nauhoitetut
Mikään ei estä tekemästä kuvakettakaan tuolle joka näyttää tiedot.