Auto DL -- nauhoituspalvelin YLE Areenalle

[ajaaskel]

Laitan ohjelinkit esille löytämistä helpottamaan:

Auto DL asennusohje:
http://www.homelinuxpc.com/download/autodl_asennusohje.html

Auto DL käyttöohje:
http://www.homelinuxpc.com/download/autodl_k%c3%a4ytt%c3%b6ohje.html

Lyhyesti:
Auto DL -automaattinauhoitus toimii ikään kuin nauhoittava digiboxi omassa tietokoneessasi mutta netin kautta.  Ei tarvitse olla itse paikalla nauhoittamassa kunhan vain muistaa jättää Linux-koneen (Ubuntu, Mint, vastaavat) käyntiin.  Käyttäjän ei tarvitse olla kirjautuneena koneelle, Auto DL on kirjoitettu itsenäiseksi palvelinohjelmistoksi joka toimii järjestelmän yhteydessä taustalla.  Ohjelma ei kuormita konetta juuri lainkaan, kuormaa syntyy vain silloin kun nauhoitus aktivoituu uuden ohjelmajakson tultua Areenaan.  Vähäisten laitevaatimusten vuoksi olen itse käyttänyt vanhaa Amd XP -konetta jonka olen piilottanut olohuoneen ison television taakse nauhoittelemaan pääasiassa lasten ohjelmia.  Nauhoituksen puolesta tuohon kävisi hyvin myös jokin äänetön mikrokokoinen kone, riittäisi että  Ubuntu toimii ja että saisi tallennustilaa.    

[samihs72]

Tässäkin ketjussa oli mainittu, että Raspberry PI:llä oli yritetty virittää Auto DL:ää käyttöön.. Itselläni on käytössä Raspbmc distro ja siinä näyttäis olevan bash versio 4.2.37. Miten tuon Auto-DL:n sais konffattua komentoriviltä ja laitettua omat tallennukset jonoon?

Koodia: [Valitse]

pi@raspbmc:~$ bash --version
GNU bash, version 4.2.37(1)-release (arm-unknown-linux-gnueabihf)
Copyright (C) 2011 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>

This is free software; you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.
pi@raspbmc:~$

Olisin kiitollinen vastauksista!

[ajaaskel]

En ole yhtään tutustunut "Raspin" käyttöjärjestelmiin vielä mutta jos puhutaan teknisten periaatteiden tasolla niin Auto DL menee kohtuullisella vaivalla kaikkiin Debian pohjaisiin jakeluihin joissa on "SysV Init" käytettävissä. Raspbmc: kin käsittääkseni on tuollainen.  Koska kysessä ei ole Intel-alusta niin lisätöitä joudut tekemään ainakin että laitat "yle-dl" ohjelman ensi töinä toimimaan siinä eli se pitäisi kääntää tuolle ARM-alustalle.   Tuon kun olet tehnyt niin autan että ratkaisut löytyvät loppuunkin. Kerron myöhemmin lisää.

[samihs72]

En ole yhtään tutustunut "Raspin" käyttöjärjestelmiin vielä mutta jos puhutaan teknisten periaatteiden tasolla niin Auto DL menee kohtuullisella vaivalla kaikkiin Debian pohjaisiin jakeluihin joissa on "SysV Init" käytettävissä. Raspbmc: kin käsittääkseni on tuollainen.  Koska kysessä ei ole Intel-alusta niin lisätöitä joudut tekemään ainakin että laitat "yle-dl" ohjelman ensi töinä toimimaan siinä eli se pitäisi kääntää tuolle ARM-alustalle.   Tuon kun olet tehnyt niin autan että ratkaisut löytyvät loppuunkin. Kerron myöhemmin lisää.

Kiitos ajaaskel! Mä en tässä vaiheessa halua enkä pysty pioneeriksi. Täytyy katsella myöhemmin, ajattelin, jos joku olisi jo hommaa kokeillut. Mulla on vaihtoehtona normaal desktop pc, jossa virittimet ja tvheadend mutta sen pitäis olla 24/7 päällä ja en oikein haluais siihen mennä ensimmäisenä.. Täytyy tuumailla vielä.

[ajaaskel]

...jos joku olisi jo hommaa kokeillut.

(Raspberry Pi + muut ARM)
Jos et ole kiireinen niin olen aika varma että joku tekninen kollega sen tekee jossain vaiheessa ARM-laitteille.  Tuohon pitäisi saada toimiva rtmpdump ensin ja kokeilla että yle-dl lataa oikein, Auto DL osasta voin antaa tekijälle teknistä kuvausta ja tukea niin että se tulee järjestykseen, jäljelle jää sitten oikeastaan töiden laittaminen Auto DL: lle kun se käynnistyy ok.  Sekin onnistuu mistä ohjelmointikielestä hyvänsä  tuon tällä hetkellä käytetyn Firefox+Launchy yhdistelmän lisäksi ja sille on helppoa kehitellä uusia käyttöliittymiä tilanteen mukaan ainakin Auto DL rajapinnan puolesta. Pelkkä komentorivikäyttökin onnistuu myös helposti.          

[nm]

Raspbmc on Raspbian, jonka LXDE-työpöytä on korvattu XBMC:llä. Raspbianiin saa suoraan rtmpdump 2.4 ja python-crypto (=pycrypto) -paketit, joten yle-dl:n ja Auto DL:n asennus on helppoa.

Ei muuta kuin kokeilemaan. Apua saa kysymällä, jos törmäät johonkin ongelmaan.

[samihs72]

Python-crypto paketti onkin jo asennettu, tarvittiin YLE-areena XBMC pluginia varten.. Eli siis rtmpdump paketin asennus ja auto-dl asennus+konffaus olis se homma... Hmm... Mitä vaihtoehtoja mulla olis konffata auto-dl:ää, kun raspbmc:ssä ei ole firefox+launchy vaihtoehtoa..?

[nm]

Mitä vaihtoehtoja mulla olis konffata auto-dl:ää, kun raspbmc:ssä ei ole firefox+launchy vaihtoehtoa..?

Ennen kuin joku koodaa tällaisen ominaisuuden XBMC:n liitännäiseen, helppo ratkaisu on tehdä Auto DL:n asetukset toisella koneella Firefoxin ja Launchyn avulla ja kopioida asetustiedosto Raspberryyn.

Jatkuvaa käyttöä varten Auto DL:n asetustiedoston kopioinnin voi automatisoida vaikkapa inotifywaitin ja scp:n avulla, jos konfiguroit SSH-kirjautumisen Raspbmc:hen pelkän avaimen perusteella.

[ajaaskel]

Komentorivikäyttö

Nauhoitettavien ohjelmien lisäys:

Nauhoitustöitä voi lisätä helposti päätteessä komentoriviltä.  Tutustutaan ensin vaikka näin:  

1)  Avaa jokin webbiselain, mikä hyvänsä.   Mene YLE Areenaan ja etsi sieltä jokin ohjelmaryhmä. Esimerkiksi "Lapset" on kokeiluun hyvin sopiva, lyhkäisiä ohjelmia koenauhoitettavaksi.   Sen alla näkyy "Pikku kakkosen ohjelmia" ja vieressä  syötekuvake (RSS).  Älä klikkaa sitä vaan kopioi siitä osoite hiiren oikealla napilla (Copy Link Location).  Se näkyy myös webbiselaimen nurkassa jo kun vie hiiren tuon kuvakkeen päälle, pitäisi näkyä:  "http://areena.yle.fi/api/list.rss?id=1392607"

2)   Mene päätteeseen ja kirjoittele tähän tapaan:

  

Koodia: [Valitse]

  .auto_dl/new_jobs   "http://areena.yle.fi/api/list.rss?id=1392607"  
Huomaatko että tuossa käynnistetään ensin "new_jobs" ohjelma joka on ".auto_dl" kansiossa ja annetaan sille kohteeksi tuo Areenan Pikkukakkosen syötelinkki lainausmerkeissä ?   Voit myös kopioita tuosta yläpuolelta suoraan ja tipauttaa päätteeseen.   Eteesi avautuu ikkuna josta voit lisätä nauhoitettavia ohjelmia.   Tuolla tavalla voit lisäillä nauhoitettavia ohjelmia helposti.  


Nykyisen listan katselu ja ohjelmien poisto:

Mene päätteeseen ja kirjoita:

 

Koodia: [Valitse]

.auto_dl/edit_jobs
Helppoa ?

Myös tuo "nm": n idea asetustiedoston siirtämisestä on ihan ok, ei olisi heti tullut mieleen noin päin.

[samihs72]

Toimiiko Auto DL Maikkarin Katsomon ja/tai Nelonen Ruutu.fi:n kanssa nykyään?

[ajaaskel]

Ei ole kummallakaan vielä käytössä syötetekniikkaa jonka Auto DL vaatii.  YLE Areena on ehtinyt ensimmäisenä Suomessa ja on edelläkävijä asiassa. Pallo on ohjelmatuottajilla rakentaa Areenan kaltainen ja toivottavasti myös mahdollisimman Auto DL yhteensopiva järjestelmä.

[samihs72]

Ei ole kummallakaan vielä käytössä syötetekniikkaa jonka Auto DL vaatii.  YLE Areena on ehtinyt ensimmäisenä Suomessa ja on edelläkävijä asiassa. Pallo on ohjelmatuottajilla rakentaa Areenan kaltainen ja toivottavasti myös mahdollisimman Auto DL yhteensopiva järjestelmä.

Kiitos tiedosta! No, kyllä aikanaan varmaan päivittävät nämä muutkin syötetekniikkaansa tältä osin. Auto DL idea on kyllä todella loistava!

[mrl586]

Ei kai tallennuksiin syötteitä tarvita, jos käyttää samaa lähestymistapaa kuin britti-YLE:n eli BBC:n ohjelmien tallennukseen suunnitellussa skriptissä?

[Tomin]

Mitähän kannattaisi tehdä, kun autodl lakkasi lataamasta jaksoja?
/opt/auto_dl/logs/failure.log:

Koodia: [Valitse]

2013-07-08 12:45:55 +0300 Http error: wget: ei kyetty ratkaisemaan verkkoasemaosoitetta ”areena.yle.fi”
2013-07-11 13:22:35 +0300 Http error: Lukuvirhe (Vastapää sulki yhteyden) otsakkeissa.
Lukuvirhe (Vastapää sulki yhteyden) otsakkeissa.ja viimeinen rivi monta kertaa uudestaan. Ei ole tuon 11. päivän jälkeen ladannut uusia. Noilla ei onneksi ole mitään kiirettä vielä ja voihan ne nyt ladata käsin, mutta olisi kiva tietää miksi tuo ei toivu virheistä.

Jos sillä on mitään väliä, ajan tuota kotipalvelimella, jossa on kyllä X asennuttuna, mutta ei esim. Firefoxia. Zenity-jutut toimivat ssh:n yli kyllä.

Ai niin, tuonkin tarkistin:

Koodia: [Valitse]

# service autodld status
 * autodld is running

[K-Veikko]

Mitähän kannattaisi tehdä, kun autodl lakkasi lataamasta jaksoja?

Itselläni oli outo toiminto,
http://forum.ubuntu-fi.org/index.php?topic=43484.msg340850#msg340850
joka korjaantui, kun tyhjensin kokonaan tallennuskansion.

[ajaaskel]

Kävinpä etänä ssh: lla katsomassa kotimme "telkkukonetta".  Jotain näyttää tapahtuneen:

2013-07-04 09:11:34 +0300 Scheduling retry after 15 minutes.
2013-07-08 23:03:38 +0300 Http error: wget: unable to resolve host address `areena.yle.fi'
2013-07-11 13:19:57 +0300 Http error: Read error (Connection reset by peer) in headers.
Read error (Connection reset by peer) in headers.
Read error (Connection reset by peer) in headers.
Read error (Connection reset by peer) in headers.

Harmillista, nauhoitellut mukavasti jo pitkään.
Tutkin kun ehdin mutta jos joku ehtii ennen minua niin hyvä sillä olen tällä hetkellä ulkomailla läppärin varassa.  

Edit
Lääke saattaa olla hyvin yksinkertainen, pääte auki ja kirjoittelee uudelleen käynnistyksen:

Koodia: [Valitse]

sudo service autodld restart
Joo, lähti jatkamaan siitä mitä oli jäänyt tekemättä

Tilannetta on aika helppoa tutkia (etänäkin) päätteessä.  Mitä näin oli että feedlukijat (get_feed) olivat joutunut vaikeuksiin ja lopettaneet itsensä.  Nykyisellään syötelukijoiden hallintakoodi ei pakota syötelukijaa uudestaan käyntiin jos lukija luovuttaa itse (="ylivoimainen este") ilman hallitsevan koodin antamaa sulkeutumiskäskyä. 

Helppoja pikku tarkastuksia uudelleen käynnistyksen jälkeen:
1)  failure.log tiedoston päiväys kannattaa kurkistaa:

Koodia: [Valitse]

ls -l /opt/auto_dl/logs
-rw-r--r-- 1 root root 134236 heinä 11 13:32 failure.log

Näkee heti että uusia virheitä ei tullut heti uudelleenkäynnistyksen jälkeen.

2)  Viimeisimpiä nauhoitettuja:

Koodia: [Valitse]

tail /opt/auto_dl/logs/recorded.log
Tuonne pitäisi ilmestyä merkintä aina kun nauhoitus alkaa ja loppuu.

Kun saan aikaa parantelen nettiyhteysvirheiden sietoa ja kirjoitan valvontakoodin rtmpdump: lle joka jossain toistaiseksi tuntemattomassa tilanteessa "karkaa käsistä" jumittuen ja jääden kuormittamaan.  Muita isompia puutteita en ole havainnutkaan mutta nuo kaksi ovat jo bugilistallani.

[Tomin]

Yhden tallennuksen sain korjattua lisäämällä uudestaan, mutta toinen ei toennut sillä. Tuo uudelleen käynnistäminen ei jostain syystä edes tullut mieleeni. Nythän tuo näkyy taas tallentavan. Lokeja ymmärsin kyllä vilkaista ja eikä noihin ole mitään uutta tullut nytten.

[ajaaskel]

Versiot taas hieman edenneet:
Checking Auto DL setup:
Background:
    System-V Init     v1.0
    Job Manager     v1.2
    Feed Reader     v1.32
    TSV Converter     v1.11
Foreground:
    Job Maker     v1.14
    Job Editor     v1.16
    TSV Converter     v1.11
    Setup Check     v1.11

Configuration:
    Default DownloadPath=/home/arto/Videot
    Default WindowHeight=600
    Default WindowWidth=400
    Default UseWinFilenames=no
    Default MaxDownloadCount=5
    Default RecordExitTask=no


Muutokset:

•  Feedlukija ei enää sammu pidemmässäkään virheessä vaan jää uudelleen yrittämään 15 min. välein.
•  Kuorman valvonta rtmpdump: lle.  Tämä on luonteeltaan tilapäinen korjaus jonka on tarkoitus auttaa tilanteessa kun rtmpdump jää satunnaisesti jumiin ja nostaa korkean kuorman. Kuorman valvonta on säädetty nyt niin että 90% kuorma yhtäjaksoisesti 15 s. ajan tulkitaan virhetilanteeksi ja korkeasti kuormittava rtmpdump sammutetaan.  Tapahtuneet sammutukset näkee uudesta lokitiedostosta,

Tuo sammutus itsessään ei haittaa sillä ylemmän tason koodi tekee silloin hetken päästä uudelleen yrityksen.

•   Ulkomailla asentaessani huomasin että  "--no-cache" oli tarpeellinen AutoDL -asennusohjelmassa ja korjasin sen joka paikkaan "wget": in yhteyteen.  Ongelma näkyi nimittäin niin että webbipalvelimella oli kyllä uudet tiedostot mutta proxy jossain matkalla lykkäsi aina ne vanhemmat versiot tiputuksessa eli päivitys ei tahtonut aluksi onnistua vaan aina asentui vanhempi versio.  Nyt näyttäisi tuokin toimivan.

Kehityksen aiheita:

•  Havaitsin että ulkomailta käytettäessä olisi hyödyllinen jokin tunnistus jos ohjelma ei ole ulkomailla katseltavissa.  Nyt nauhoitus yrittää turhaan mitä sille käyttäjä tarjoaa tehtäväksi tai oikeastaan yrittää 5 kertaa ja luovuttaa.

[ajaaskel]

Etäkäyttö

Kokeilin hieman käytännössä tilannetta jossa AutoDL on kotonani ja itse olen ulkomailla.  Otin ensin SSH yhteyden kotikoneeseeni niin että myös grafiikka välitetään (eli "-X" tuonne ssh: n perään):

Koodia: [Valitse]

ssh -X  80.220.xx.yy
Nauhoitustöiden lisäys:

Katselin webbiselaimella tavalliseen tapaan YLE Areenasta mitä haluaisin talteen.  Menin sitten RSS-kuvakkeen päälle ja valitsin "Kopioi linkin kohde".  Sitten vain päätteeseen takaisin ja kirjoittelin sinne:

Koodia: [Valitse]

.auto_dl/new_jobs  "http://areena.yle.fi/tv/kaikki.rss"
Tuon linkin tipautin sinne Ctrl-Shift-V näppäinyhdistelmällä, vaihtohtoisesti hiiri tekisi toki saman.  Odottelin hetken ja menu aukeni josta pääsee ruksimaan ohjelmia. Etäyhteydellä on pieniä viiveitä näytön päivittymisessä eli rauhallisesti kun on ruksi tehty ja tulee näkyviin hetken päästä.  Vahvistus lopuksi "OK" napista.

Tarkastaminen tai poistaminen:

Koodia: [Valitse]

.auto_dl/edit_jobs
Onkin jo ohjelma nauhoittunut kotikoneella sillä aikaa kun tätä kirjoittelin.

[samihs72]

Mitä vaihtoehtoja mulla olis konffata auto-dl:ää, kun raspbmc:ssä ei ole firefox+launchy vaihtoehtoa..?

Ennen kuin joku koodaa tällaisen ominaisuuden XBMC:n liitännäiseen, helppo ratkaisu on tehdä Auto DL:n asetukset toisella koneella Firefoxin ja Launchyn avulla ja kopioida asetustiedosto Raspberryyn.

Jatkuvaa käyttöä varten Auto DL:n asetustiedoston kopioinnin voi automatisoida vaikkapa inotifywaitin ja scp:n avulla, jos konfiguroit SSH-kirjautumisen Raspbmc:hen pelkän avaimen perusteella.

Moi! Jouduin vaihtamaan Raspbmc:n Openeleciin YleAreena pluginin toimimattomuuden takia Raspbmc:ssä.. Openelec on paljon rajoitetumpi, ei voi asennella lisä repositoryja tms. Onko Openeleciin mitään muuta mahdollisuutta saada auto-dl toimimaan kuin odottaa XBMC-pluginia? Rtmpdump openelecistä kyllä löytyy, jos olen oikein ymmärtänyt kuuklailun perusteella..