Kirjoittaja Aihe: Auto DL -- nauhoituspalvelin YLE Areenalle  (Luettu 54259 kertaa)

ajaaskel

  • Palvelimen ylläpitäjä
  • Käyttäjä
  • Viestejä: 3401
    • Profiili
Auto DL -- nauhoituspalvelin YLE Areenalle
« : 12.09.12 - klo:22.14 »
Asian taustaa löytyy täältä hyvin pikaisesti kirjoitettuna sekä html että pdf-muodossa:

http://www.homelinuxpc.com/download/tv_rss_kehitys.html
http://www.homelinuxpc.com/download/tv_rss_kehitys.pdf

Betaversio kokeilijoille on esillä, paketti muuttuu vielä, asentuu Ubuntuun käden käänteessä vaikka näin:

Koodia: [Valitse]
wget --no-cache -r -O./asenna_autodl homelinuxpc.com/download/asenna_autodl && chmod +x asenna_autodl && ./asenna_autodl
Tarkoitettu hieman kokeneemmille käyttäjille aluksi joille nykyinen Areenan nauhoitus on jo tuttu asia ja toistaiseksi vain Ubuntuun (Mint 13 käy myös).  Kyseessä on ohjelmisto joka automaattisesti nauhoittaa halutut YLE Areenan ohjelmat aina kun uusi jakso ilmestyy.  Nauhoitettavaksi halutut Areenan ohjelmavalinnat lisätään Firefox: ssa Launchy-menun kautta.  Taustaohjelma toimii tavanomaisesti eli se pyörii koneella vaikka käyttäjä kirjautuu ulos ja nauhoittelee mitä käyttäjä on määritellyt tehtäväksi.  Tuossa mielessä toiminta on sama kuin nauhoittavassa digiboxissa paitsi että yhteys on netin kautta ja käyttö ei vaadi mitään kallista lisälaitetta, vain tietokoneen missä Ubuntu tai Mint 13.
Teknisesti ohjelma seuraa RSS-syötettä eli kun uusi ohjelmajakso ilmestyy niin ohjelma herää nauhoittamaan sen jos kyseinen ohjelma oli nauhoitettavaksi valittujen listalla.  Ohjelma on laajennus jo olemassaolevaan "yle-dl + menut" -systeemiin eli nuo kaksi pitää laittaa koneeseen aluksi ja tämä Auto DL viimeisenä sillä se asentaa laajennetun Launchy-menun Firefox: lle.

Laajennettu menu sisältää uusia asioita:
  • "Autom. - lisää"
  • "Autom. -poista"


Tuo "lisää" -menuvalinta tutkii RSS-syötteen (toimii oikein vain RSS-kuvakkeen päältä hiiren oikealla klikattaessa) ja antaa menun josta voi ruksia haluamansa ohjelmat. "poista" näyttää jo tehdyt valinnat ja antaa poistaa niitä.

Valinnat tallettuvat käyttäjäkohtaisesti.  Kukin käyttäjätunnus voi tehdä omat valintansa.  Taustalla pyörii palvelinohjelma (diimon) joka seuraa kaikkien käyttäjien valintoja ja tekee nauhoitukset niiden perusteella.   Palvelinohjelmaa voi ohjata päätteestä kuten mitä hyvänsä muutakin taustapalvelua:

Koodia: [Valitse]
sudo service autodld start
sudo service autodld stop
sudo service autodld status
sudo service autodld restart

Palvelimen pitäisi olla käynnissä heti asennuksen jälkeen mutta se jauhaa taustalla "tyhjää" ennen kuin jotain töitä annetaan sille.  Kuormitus liki nolla ellei töitä ole määritetty.

Teknisestä toteutuksesta

Ohjelmisto koostuu kahdesta toiminnallisesta osasta:
  • Käyttäjän ohjelmat
  • Taustaohjelmat (=palvelin=diimon)


Toiminnan ymmärtäminen auttaa testauksessa tai jos ohjelman haluaa asentaa muualle kuin Ubuntuun tai Minttuun.  Käyttäjän ei tarvitse tietää juuri mitään näistä ohjelman toiminnan detaljeista, käyttö on hyvin yksinkertaista.

Käyttäjän ohjelmat

Käyttäjän ohjelman tehtävänä on luoda tai poistaa työmäärityksiä. Työmääritykset talletetaan kunkin käyttäjän kotihakemiston alle.  Kotihakemiston alle syntyy ".auto_dl" -piilohakemisto jonka alla on puolestaan "adl_jobs" hakemisto määriteltyjä töitä varten.
Töiden lisäys ja poistaminen tapahtuu Firefox: ssa Launchy-menun kautta. Idea on helppo oivaltaa kun sen näkee kerran edessään.  
Launchy: ssä tehty "lisää" -valinta käynnistää "new_jobs" ohjelman
jolle välittyy RSS-linkki.  Mikäli linkki on jotain muuta kuin RSS se hylätään ja virhe logataan.  
Saatuaan RSS_linkin "new_jobs" lukee syötteen ja rakentaa ohjelmien nimistä valintamenun johon käyttäjä ruksii mitkä ohjelmat halutaan nauhoittaa aina automaattisesti kun uusi jakso tulee.  Kun lista on valmis ja hyväksytty ohjelma muuntaa käyttäjän valinnat ohjeiksi palvelinohjelmalle eli RSS_linkki + seurattava(t) ohjelma(t) ja tallettaa sen.  RSS-linkkejä voi lisätä useamman kerran ja mielivaltaisen määrän.
Launchy: ssä tehty "poista" -valinta käynnistää "edit_jobs" ohjelman joka näyttää nykyiset valinnat ja antaa poistaa turhia.   Tuota editoria voi ajaa komentoriviltäkin:

Koodia: [Valitse]
.auto_dl/edit_jobs
Taustaohjelmat

Taustaohjelmien tehtävä ja toimintatapa on hieman monimutkaisempi.  
Päätaustaohjelma "auto_dld" eli "syötelukijoiden pomo" seuraa onko millään käyttäjätunnuksella luotu töitä.  Jos käyttäjä on valinnut ohjelman nauhoitettavaksi niin palvelinohjelma käynnistää RSS-syötelukijan "get_feed" kyseiselle työlle.  Samalla palvelinohjelma merkitsee työkirjanpitoon tuon työn aktivoiduksi.  Kutakin RSS-linkkiä kohti avataan oma syötelukija.  Vastaavasti jos käyttäjä poistaa töitä niin että syötelukija jää työttömäksi niin kyseinen syötelukija sammutetaan ja työ poistetaan työkirjanpidosta.  
Syötelukija "get_feed" seuraa tehtäväksi annettua syötettä.  Saatua syötettä verrataan työmääritykseen.  Jos syötteen mukana tulee uuden ohjelmajakson tiedot joka on myös määritetty nauhoitettavaksi niin ohjelma rakentaa käynnistyskomennon "yle-dl" ohjelmalle ja aktivoi sen.  
 
Sys-V-init
Päätaustaohjelma käynnistyy koneen käynnistyksen yhteydessä Sys-V-init: in kautta.  Asennusohjelma huolehtii käynnistyksen asennuksesta --> /etc/init.d ja aktivoi tuon.

Asennusohjelma
Asennusohjelma lataa asennuspalvelimelta "www.homelinuxpc.com/download" autodl.zip paketin, purkaa sen ja kopioi ---> ~/.auto_dl, /opt/auto_dl, /etc/init.d  ja tarkastaa että jokin "Videot" -hakemisto on olemassa.  Laajennettu launchy.xml kopioidaan oikeisiin käyttäjäkohtaisiin paikkoihin.   Asennusohjelma on melko helppolukuinen.

« Viimeksi muokattu: 10.08.13 - klo:14.34 kirjoittanut ajaaskel »
Autamme ilolla ja ilmaiseksi omalla ajallamme.  Ethän vaadi, uhoa tai isottele näin saamasi palvelun johdosta.

salai

  • Käyttäjä
  • Viestejä: 2126
    • Profiili
Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
« Vastaus #1 : 15.09.12 - klo:02.33 »
Ei taida ihan vielä toimia?

Asennusohjelma tekee homen alle rootin omistaman kansion .auto_dl eikä kopioi sinne esim. xml2tsv-yle-fi -tiedostoa.

Jos muutan oikeudet käyttäjälle ja lisään tuon tiedoston, auto_dl lataa kyllä tekstitykset (*.srt), mutta *.flv tiedostot ovat nollan pituisia.

ajaaskel

  • Palvelimen ylläpitäjä
  • Käyttäjä
  • Viestejä: 3401
    • Profiili
Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
« Vastaus #2 : 15.09.12 - klo:09.42 »
Asennusohjelmassa voi hyvin olla puutteita ja samoin tuon paketin kasauksessa muuttelin polut lopullista käyttöä ajatellen. Katson mikä siellä kurahtaa ja korjaan.  Itse ohjelma toimii täällä Ubuntu 10.04 LTS ja Mint 13 koneissa.

Odotellessa kerron lyhyesti rakenteen niin voit laittaa tavarat itse kopioiden ja tarkastaa ownerit.  Logeista pystyy katsomaan mitä tapahtuu sen jälkeen kun jotain on jo saatu käyntiin.

Käyttäjätiedostot   -->   ~/.autodl     (Omistaja kyseinen käyttäjä)
new_jobs
edit_jobs
xml2tsv-yle-fi

Palvelintiedostot    -->  /opt/auto_dl    (Omistaja root)
auto_dld
get_feed
xml2tsv-yle-fi

System-V-Init-tiedosto --> /etc/init.d   (Omistaja root)
autodld

Pitäisi palvelimen käynnistyä käsin tuon jälkeen kun antaa:

Koodia: [Valitse]
sudo service autodld start
Ohjelmat luovat omat hakemistorakenteensa päähakemistojen alle ensikäynnistyksellä.  Logit löytyvät noiden päähakemistojen alta.
ls /opt/auto_dl
auto_dld  get_feed  logs  xml2tsv-yle-fi


Edit:
Otin erilaisen koneen nähdäkseni mitä tuossa voi tapahtua, nyt Mint LMDE (Debian).  wget ei tiputtanut oletushakemistoon installeria, korjasin jo tuon tuonne asennusrimpsuun. Pyörähti läpi sen jälkeen. Tutkitaan...
.
update-rc.d: using dependency based boot sequencing
autodld running


ls -l /opt/auto_dl
yhteensä 28
-rwxr-xr-x 1 root root 6231 syys  15 09:56 auto_dld
-rwxr-xr-x 1 root root 9606 syys  15 09:56 get_feed
drwxr-xr-x 2 root root 4096 syys  15 09:56 logs
-rwxr-xr-x 1 root root 1618 syys  15 09:56 xml2tsv-yle-fi


Näyttäisi käynnistyneen ja palvelintiedostot oikeissa paikoissa.

Koodia: [Valitse]
sudo service autodld statusautodld is running.

Käyttäjätiedostojen asennuksessa on mainitsemasi kopiointibugi, korjataan...

Korjattu tuo "xml2tsv-yle-fi" -kopiointi tuohon asennusohjelmaan.  

Havaittu vika: launchy.xml ei ole päivittynyt
On päivittynyt oikein mutta Firefox piti käynnistää uudestaan että pidempi Launchy-menu näkyy.
Eli ei vikaa tuossa.

Havaittu vika: Palvelimen Job Manager -osassa jotain pielessä, ei tunnista prosesseja oikein,  
pyörii ok Ubuntu 10.04: ssä mutta LMDE: ssä (Debian) ei.  Tässä voi mennä hetki...

No nyt pyörii myös LMDE: ssä.  Oli erilaisia bugeja jotka vaikuttavat muihinkin, kannattaa tiputtaa uusin versio.
« Viimeksi muokattu: 15.09.12 - klo:16.11 kirjoittanut ajaaskel »
Autamme ilolla ja ilmaiseksi omalla ajallamme.  Ethän vaadi, uhoa tai isottele näin saamasi palvelun johdosta.

Ganymedes

  • Käyttäjä
  • Viestejä: 3915
    • Profiili
Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
« Vastaus #3 : 15.09.12 - klo:11.30 »
Hieno homma tämä!  ;D

Kokeilin Ubuntu 12.04 64-bit ja näyttäisi toimivan. En ole vielä saanut mitään sarjaa nauhoitettua, mutta työt näyttävät syntyneen jonoon. Yksittäinen nauhoitus on testattu.

Tämä ei ollut tuttua entuudestaan. Ohjeissa en huomannut mitään epäjohdonmukaista kunhan ne vain malttoi lukea. Pari juttua meni tämän vuoksi väärin:

- ydin (yle-dl) pitää olla asennettu ensin - ei sillä ettei tuota olisi ohjeessa sanottu  :) Tuo wget-komento ei toiminut oikein ilman tätä, vaikka ei sillä väliä koska Launchy-jutut eivät toteutuneet ollenkaan. Asensin uudelleen ja silloin meni oikein.

- Firefoxin käynnistys oli tarpeen jotta Launchyssä nämä uudet asiat tulivat näkyviin

- RS-feedin päällä klikkaaminen on kyllä kerrottu sekin, mutta vain sivulauseessa. Muutenhan ei tapahdu mitään.

Loppukäyttäjän versioihin: Jossain varmaan pitäisi olla hieman ruutukuvia, jotta tietäisi mitä odottaa ja mitä pitäisi näkyä minkäkin tempun jälkeen - silloin olisi paljon helpompi varmistua että teki jotakin oikeaa. Esim. tuo RSS-feed ja Launchy-juttu lienee monelle aika uutta.

Mutta kuten sanottu - näyttäisi toimineen ihan dokumentin mukaan.

salai

  • Käyttäjä
  • Viestejä: 2126
    • Profiili
Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
« Vastaus #4 : 15.09.12 - klo:11.32 »
Sain systeemin pelaamaan Peppermint Two:ssa nyt.

Nyt kun ymppään tuohon vielä ne aviksi muunto-skriptini ja laitan MiniDLNA:n pyörimään alkaa etäohjattava näytötön mediapalvelin olla valmis. Nythän se jo tallettaa digitv-ohjelmat levylleen.

Sain viikolla 2 Raspberry Piitä, ja olisi hauska tehdä sellaisestakin tallennusautomaatti.  Esim. mutsin telkan taakse pyörimään, jota sitten ohjaisin kotoa etänä kopioimalla SSH-konsolissa RSS-syötteen osoitteen skriptille.

Jos tuon nyt ensin saa edes toimimaan siinä rasbianinissa, tai kai mieluummin XBMC-versiossa?

ajaaskel

  • Palvelimen ylläpitäjä
  • Käyttäjä
  • Viestejä: 3401
    • Profiili
Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
« Vastaus #5 : 15.09.12 - klo:12.48 »
Olkaa vielä varovaisia, beta, ei tuo mitään riko mutta jotain siellä bugittaa, muutoksia joutui tekemään aika paljon eri nurkilla kun kasasin sitä toiseen koneeseen asennettavaan muotoon ja tälle hakemistorakenteelle.  Siivoan jääneitä virheitä pois sitä mukaa kun osuvat silmään.

Lainaus
Jossain varmaan pitäisi olla hieman ruutukuvia...

En pysty liittämään kuvia kun foorumisofta ei anna enää tehdä, tuli limitti täyteen kuvien tallennustilassa.

Lainaus
Jos tuon nyt ensin saa edes toimimaan siinä rasbianinissa,...
Tuon saa toimimaan kaikissa laitteissa missä bash4.
« Viimeksi muokattu: 15.09.12 - klo:12.53 kirjoittanut ajaaskel »
Autamme ilolla ja ilmaiseksi omalla ajallamme.  Ethän vaadi, uhoa tai isottele näin saamasi palvelun johdosta.

mrl586

  • Käyttäjä
  • Viestejä: 4638
    • Profiili
Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
« Vastaus #6 : 15.09.12 - klo:15.36 »
Tuon saa toimimaan kaikissa laitteissa missä bash4.
Myös Nokia N9:ssä?
« Viimeksi muokattu: 15.09.12 - klo:15.41 kirjoittanut mrl586 »

Tomin

  • Palvelimen ylläpitäjä
  • Käyttäjä / moderaattori+
  • Viestejä: 11440
    • Profiili
    • Tomin kotisivut
Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
« Vastaus #7 : 15.09.12 - klo:16.11 »
Tuon saa toimimaan kaikissa laitteissa missä bash4.
Myös Nokia N9:ssä?
Kyllä varmaan. Eri asia on miten paljon joutuu muokkaamaan Meegon ekosysteemiä varten.
Automaattinen allekirjoitus:
Lisäisitkö [RATKAISTU] ketjun ensimmäisen viestin aiheeseen ongelman ratkettua, kiitos.

ajaaskel

  • Palvelimen ylläpitäjä
  • Käyttäjä
  • Viestejä: 3401
    • Profiili
Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
« Vastaus #8 : 15.09.12 - klo:16.23 »
Löysin ja korjasin bugit taustaohjelmasta, toiminee varmaan aika ihmeellisissäkin laitteissa.  Tehovaatimuksia ei ole juuri lainkaan, kuormaa syntyy vasta kun lataus Areenasta käynnistyy eli kun ohjelma kutsuu "yle-dl": n töihin.

Kannattaa asentaa uudestaan, ensin pysäyttää taustaohjelman

Koodia: [Valitse]
sudo service autodld stop
ja ajaa tuon pitkän rimpsun tuolla ylempänä (jota myös on hieman korjattu).  

Lainaus
Myös Nokia N9:ssä?
Ei ole itsellä tuota mutta periaatteessa minimivaatimus on mikä hyvänsä Linux ja bash v4 tai uudempi. Voi hieman teettää käännöstöitä, valmiit .deb -paketit helpottavat missä niitä voi käyttää suoraan. Saisin varmaan aika helposti kasalle myös .rpm -paketit tuosta "yle-dl": stä jos joku niitä tarvitsee.

« Viimeksi muokattu: 15.09.12 - klo:16.43 kirjoittanut ajaaskel »
Autamme ilolla ja ilmaiseksi omalla ajallamme.  Ethän vaadi, uhoa tai isottele näin saamasi palvelun johdosta.

mrl586

  • Käyttäjä
  • Viestejä: 4638
    • Profiili
Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
« Vastaus #9 : 15.09.12 - klo:16.40 »
Löysin ja korjasin bugit taustaohjelmasta, toiminee varmaan aika ihmeellisissäkin laitteissa.  Tehovaatimuksia ei ole juuri lainkaan, kuormaa syntyy vasta kun lataus Areenasta käynnistyy eli kun ohjelma kutsuu "yle-dl": n töihin.
Olet oikeassa, että taustaohjelma on kevyt, mutta edustaohjelma on varsin raskas pakollisen Firefox-riippuvuuden vuoksi. Edustaohjelmasta olisi syytä kehittää erillinen kevytversio (esim. komentorivisovellus).

ajaaskel

  • Palvelimen ylläpitäjä
  • Käyttäjä
  • Viestejä: 3401
    • Profiili
Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
« Vastaus #10 : 15.09.12 - klo:16.44 »
Firefox ei ole pakollinen mitenkään.   Kokeile mitä näkyy päätteessä:

Koodia: [Valitse]
.auto_dl/edit_jobs
Koodia: [Valitse]
.auto_dl/new_jobs "http://areena.yle.fi/api/list.rss?id=1399277"  ~
Tuolle pystyy kirjoittamaan oman edustaohjelmankin joka tekee nauhoitustyömäärityksiä tai töitä voi tuolle tiputella etänäkin helposti, rakenne on yksinkertainen eli RSS-linkki muotoiltuna (korvaa kaikki kauttaviivat linkissä pystypalkilla)  + ohjelman nimi tiedostona sen alla.  

Jos tuo ylläoleva pääteohjelma (new_jobs, edit_jobs) on liian raskas niin "adl_jobs" -hakemistoon pystyy suoraan tiputtelemaan määrityksiä käsin, voi ehkä palvelimen lokiin tulla herjoja jos teet kirjoitusvirheitä tuossa :)

Koodia: [Valitse]
ls -l .auto_dl/adl_jobs
« Viimeksi muokattu: 15.09.12 - klo:17.13 kirjoittanut ajaaskel »
Autamme ilolla ja ilmaiseksi omalla ajallamme.  Ethän vaadi, uhoa tai isottele näin saamasi palvelun johdosta.

ajaaskel

  • Palvelimen ylläpitäjä
  • Käyttäjä
  • Viestejä: 3401
    • Profiili
Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
« Vastaus #11 : 15.09.12 - klo:18.35 »
Käyttöohje Firefox: lla on kaksi kuvaa alla.  

Kuva 1:  Lisättäessä ohjelmia nauhoituslistalle pitää klikata oranssin RSS-kuvakkeen päällä hiiren oikealla napilla.   Launchy: n menusta valitaan "Download Link with Autom.-- lisää", odotellaan hetki kun tv-ohjelmien nimet käydään hakemassa.  

Kuva 2: Hetken päästä eteen tulevasta listasta valitaan ruksimalla ne ohjelmat jotka halutaan nauhoittaa aina kun uusi jakso ilmestyy ja painetaan OK kun valmista.
Tämä lisäysvalinta toimii vain oranssin RSS-kuvakkeen päältä käytettynä mutta missä hyvänsä tuo kuvake löytyykin.  

Nykyiset voimassaolevat valinnat pääsee tarkastamaan ja valintoja myös poistamaan samaisen "Launchy" -menun kautta  "Download Link with Autom.--poista" menuvalinnasta.

Koko sarjan esilläolevien jaksojen nauhoitus tapahtuu jos avaat Areenassa ensin "SARJA" kohdasta sen ja valitset sitten siellä olevasta RSS-kuvakkeesta tuon ohjelman listalle.  
« Viimeksi muokattu: 15.09.12 - klo:19.29 kirjoittanut ajaaskel »
Autamme ilolla ja ilmaiseksi omalla ajallamme.  Ethän vaadi, uhoa tai isottele näin saamasi palvelun johdosta.

salai

  • Käyttäjä
  • Viestejä: 2126
    • Profiili
Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
« Vastaus #12 : 16.09.12 - klo:12.06 »
Tuo asennusskripti jättää kyllä edelleen sen ~/.auto_dl kansion rootin omaisuudeksi, mikä estää sinne kirjoittamisen ilman käsin korjausta.

Muistaessa: Gemalin Launchy.xpi:stä sellainen huomio, ettei sen install.rdf-tiedostoa ole päivitetty vuosiin, vaan siellä lukee edelleen Firefoxille <em:maxVersion>3.7a1pre</em:maxVersion>. Tuo aiheuttaa ongelmia, jos haluaa esim. laittaa uudelle (tai "vieras") käyttäjälle Firefoxin asetukset oikein /etc/skel:ää  muokkaamalla. Olen ratkaissut tuon korjaamalla käsin sen install.rdf:n.

ajaaskel

  • Palvelimen ylläpitäjä
  • Käyttäjä
  • Viestejä: 3401
    • Profiili
Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
« Vastaus #13 : 16.09.12 - klo:19.20 »
Lainaus
Tuo asennusskripti jättää kyllä edelleen sen ~/.auto_dl kansion rootin omaisuudeksi, mikä estää sinne kirjoittamisen ilman käsin korjausta.

Kiitos Salai, siellä oli jäänyt yksi muuttujan nimi päivittämättä jonka takia tuo ei korjannut omistajia lainkaan. Toimiessaan se näyttää tiedot, helppoa tarkastaa tulos. Nyt toimii tuokin.   Eli:

Kaikille:   Ajakaa asennus uudestaan niin omistajat korjaantuvat.

Laynchy:  Joo, muistan hämärästi törmänneeni tuohon kun rakensin Launchy: n globaalin asennuksen eli että ei tarvitse käyttäjäkohtaisesti sitä laittaa.  Tuo on yhdessä koneessani tehty mutta Launchy: n automaattinen globaali asennus  jäi silloin vaiheeseen pikku ongelman takia.  Sain sen niin pitkälle että käyttäjän piti vain aktivoida se Firefox: ssa käsin mutta en niin että se olisi ollut käyttäjälle aktiivisena valmiiksi ilman käyttäjän omia toimia.   Tuo globaali tausta-asennus Firefox: in lisukkeille olisi kätevä, ei tarvitsisi enää käyttäjäkohtaisesti viritellä tuota.      
Laitoin postia Launchy: n tekijälle tuosta "install.rdf" -tiedostosta.
« Viimeksi muokattu: 16.09.12 - klo:20.59 kirjoittanut ajaaskel »
Autamme ilolla ja ilmaiseksi omalla ajallamme.  Ethän vaadi, uhoa tai isottele näin saamasi palvelun johdosta.

Illu

  • Käyttäjä
  • Viestejä: 1061
    • Profiili
Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
« Vastaus #14 : 16.09.12 - klo:21.30 »
Olisi pieni toive: Olisiko helppoa tehdä joku vipu, jolla saisi kohdekansion muutettua haluamakseen? Tai vaihtoehtoisesti asennusohjeisiin lisätä neuvo siitä, miten itse tekisi muutoksen asennusohjelmaan ennen sen käyttöä.

Tämänkaltainen automaatti voi huomaamatta täyttää pienen /homen, videot kun ovat kuitenkin aika tilaa vieviä. Kohdekansion määrittelyllä saisi hyödynnettyä erillisen datalevyn "rajattoman" tilavuuden.

Ganymedes

  • Käyttäjä
  • Viestejä: 3915
    • Profiili
Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
« Vastaus #15 : 16.09.12 - klo:21.46 »
Nyt on verifioitu nauhoituksetkin. Lähettämäsi kuvaruutukaappaus selvitti kerralla mitä tuossa RSS-feedin klikkauksessa oikein pitäisi tapahtua.

... en tosin heti keksinyt että toimii ... minullahan ei ole "Videot" hakemistoa oletuksena, vaan "Videos" enkä huomannut muualta hakeakaan kuin "Videos" -hakemistosta ... näin valikoivasti sitä lukee ohjeita ... vähän sama kysymys kuin tuossa juuri edellä.

Jotenkin tuossa pitäisi ohjeistaa se, että kyse ei ole ainoastaan UUSISTA feedeistä, vaan kyllähän vanhatkin nauhoitetaan. Tämä asia selviää kuitenkin ruutukuvastasi, joka herätti heti, oikeita, kysymyksiä, koska siinä näkyy myös vanhoja feedejä. En ole varma onko tekstisi joka paikassa aivan oikein tässä suhteessa. No itse asiassa tuossa pari postiasi sitten sanot saman asian viimeisessä kappaleessa - jotenkin tuo uudet versus vanhat pitäisi sanoa suhteessa YLE Areenan menuihin ja ohjelman käyttötarkoituksessa todeta heti että kumpaakin voi tehdä.

ajaaskel

  • Palvelimen ylläpitäjä
  • Käyttäjä
  • Viestejä: 3401
    • Profiili
Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
« Vastaus #16 : 17.09.12 - klo:09.42 »
Kohdekansio:  
Teen tuohon parannuksen.  Olisiko teistä molemmista hyvä idea että halutun kohdekansion nimen tai vaikka koko polun voisi itse kirjoittaa editorilla jonnekin, keksitään nyt vaikka /etc/auto_dl/ autodl.cfg  ? Itse tehty valinta tuolla ajaisi yli kaiken muun.

Ohjeet:
Kaikki mahdolliset ja mahdottomat ideat tervetulleita !  Kirjoittelen tarkat ohjeet, ominaisuudet ja niiden poikkeamat kun isoimmat tekniset parannukset ja muutokset on tehty.  Toiveeni on että betatestaajat jotka ovat aika kokeneita käyttäjiä pääsevät alkuun näillä hyvin suppeilla ohjeilla.

Ohjelma näyttää tasan samat valinnat (tv-ohjelmien nimet) valintamenussaan kuin mitä YLE: n RSS-syötteessä on juuri sillä hetkellä.   Syötteet ovat kuitenkin erilaisia riippuen avaako kaikkien ohjelmien sivulta tuon vai "SARJA" -sivulta.   Ohjelma tallettaa kyseisen RSS-linkin ja toimii sen mukaan.  Sarjan RSS-syötteessä on monta jaksoa eri päiväyksillä eli sen seurauksena tulee osuma kaikista niistä tv-ohjelman jaksoista mitkä näkyvät tuolla "SARJA": n alla.    
Tuon RSS-kuvakkeen voi tuplaklikata auki Firefox: ssa jolloin voi kurkistaa mitä se syöte tarjoaa.  


Toimintaperiaate lyhyesti:

1)  Käyttäjä on tallettanut työn. "Työ" (job) tarkoittaa RSS-linkkiä  ja siihen linkkiin liittyviä tv-ohjelman nimiä.

2) Hallitseva taustaohjelma "RSS-lukijoiden pomo" (Job Manager) huomaa uuden työn ja käynnistää sille RSS-lukijan joka seuraa RSS-syötteen tapahtumia.    

3)  RSS-lukija (toinen taustaohjelma) käynnistyy ja alkaa tulkita saamiaan ohjeita.  

4) RSS-lukija tulkitsee ensisyötteen, asettaa seurantajakson ttl-muuttujan mukaiseksi ja käy suorittamaan tulkintaa käyttäjän antaman työn sisällöstä:
  • Luetaan käpi käyttäjän valintalistalta ensimmäinen tv-ohjelma.  Jos ohjelman nimi löytyi syötteestä niin bingo, tutkitaan onko jo nauhoitettu. Jos ei vielä niin merkitään nauhoitettujen listalle ohjelma nauhoitetuksi ja rakennetaan kutsu "yle-dl" ohjelmalle nauhoittaa se.
  • Jatketaan lista loppuun edellämainitulla tavalla.
  • Mennään odottamaan seuraavaa syötettä.
5)  Käyttäjä on poistanut töitä niin että jollekin RSS-lukijalle annetut työt loppuvat.  Job Manager huomaa tilanteen, tutkii mikä yksilö käynnissäolevista RSS-syötelukijoista on vastuussa ja lähettää sille sulkeutumisviestin.
6) Tarpettomaksi jäänyt RSS-lukija sulkeutuu hyvässä järjestyksessä.    

Muuta huomionarvoista:
  • Joku voi ihmetellä miksi ensin käydään merkkaamassa nauhoitetuksi ja sitten vasta käynnistetään "yle-dl". Tuo on tarkoituksellinen valinta ja oli tärkeää tehdä juuri tuossa järjestyksessä jotta indikaatio muille ohjelmille tulee ajoissa.   Taustaohjelmia voi olla ajossa samaan aikaan isokin määrä.
  • Nauhoitettujen lista on yksi koko palvelimella.  Kerran kun ohjelmajakso on nauhoitettu sen ID-numero on nauhoitettujen listalla ja RSS-lukija ei käynnistä nauhoitusta sille uudestaan.  Eri jaksolla samasta ohjelmasta on eri ID-numero eli se nauhoittuu (kunnes nauhoituksen yhteydessä sekin merkattu tehdyksi).
  • Ohjelmissa on erilaisia tarkastuksia ja virheloggauksia, erityisesti RSS-syötelukijassa. Syöte tarkastetaan pintapuolisesti että kysessä on RSS. Koodin pitäisi huomata jos syötteen seassa on (yllätys yllätys) html-sivu jossa lukee "huoltokatko", tms. ja jäädä odottamaan sen sijaan että luovuttaisi heti virhetilanteena.  Tuota ominaisuutta en ole kuitenkaan testannut.  Varauduin koodissa tuohon kun kerran aiemmin kävi noin.  
« Viimeksi muokattu: 17.09.12 - klo:10.38 kirjoittanut ajaaskel »
Autamme ilolla ja ilmaiseksi omalla ajallamme.  Ethän vaadi, uhoa tai isottele näin saamasi palvelun johdosta.

Illu

  • Käyttäjä
  • Viestejä: 1061
    • Profiili
Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
« Vastaus #17 : 17.09.12 - klo:20.37 »
Kohdekansion valinnan voit mielestäni toteuttaa helpoimmalla tavalla, kunhan olisi muokattavissa. Se ei nyt ole ihan ykköstärkeä asia.

Ganymedes

  • Käyttäjä
  • Viestejä: 3915
    • Profiili
Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
« Vastaus #18 : 17.09.12 - klo:20.46 »
Kohdekansio:  
Teen tuohon parannuksen.  Olisiko teistä molemmista hyvä idea että halutun kohdekansion nimen tai vaikka koko polun voisi itse kirjoittaa editorilla jonnekin, keksitään nyt vaikka /etc/auto_dl/ autodl.cfg  ? Itse tehty valinta tuolla ajaisi yli kaiken muun.

Tuo vaikuttaa ihan hyvältä.


Lainaus
Ohjeet:
Kaikki mahdolliset ja mahdottomat ideat tervetulleita !  Kirjoittelen tarkat ohjeet, ominaisuudet ja niiden poikkeamat kun isoimmat tekniset parannukset ja muutokset on tehty.  Toiveeni on että betatestaajat jotka ovat aika kokeneita käyttäjiä pääsevät alkuun näillä hyvin suppeilla ohjeilla.

Yep, näillä pärjätään, turha kirjoitella enempää tai turhan tarkasti ennenkuin koodi vakiintuu - tiedän kyllä kokemuksesta miten paljon työtä on muutella. Olen kommentoinut vain loppukäyttäjän ohjeiden kannalta. Kuten olet itsekin huomannut, RSS-feedien käyttöä suhteessa YLEn sivuihin kannattaa myös selventää ... ja samoin sitä miten voi kokeilla ja katsoa mitä feedeissä oikein on sisällä.

ajaaskel

  • Palvelimen ylläpitäjä
  • Käyttäjä
  • Viestejä: 3401
    • Profiili
Vs: Auto DL -- nauhoituspalvelin YLE Areenalle
« Vastaus #19 : 18.09.12 - klo:13.02 »
Kohdekansio:
Muun tallennuskansion sijainnin tai oikeastaan kokonaisen polun voi nyt halutessaan pakottaa:

Koodia: [Valitse]
--> ~/.auto_dl/autodl.conf      käyttäjäkohtainen asetustiedosto
--> /etc/auto_dl/autodl.conf    järjestelmän laajuinen asetustiedosto

Jos talletuskansioksi halutaan vaikkapa ~/Video1 niin tuonne kirjoitellaan editorilla koko polku (ei pelkkää kansion nimeä) eli näin::

Koodia: [Valitse]
DownloadPath=/home/liisa/Video1
Tämä kansio pitää luoda itse etukäteen (jos halutaan käyttää itsemääritettyä kansiota eikä järjestelmän itse valitsemaa).  Muutos aktivoituu kun palvelimen käynnistää uudestaan:

Koodia: [Valitse]
sudo service autodld restart
Toiminnallisesti voidaan ajatella että järjestelmä lukee ensin järjestelmätason .conf -tiedoston ja perässä käyttäjäkohtaisen tiedoston.  Jos molemmat ovat olemassa jää silloin käyttäjäkohtainen voimaan.  Jos pelkästään järjestelmätiedosto on olemassa jää se voimaan ja jos ei kumpaakaan ole niin etsitään automaattisesti ~/Videos ja sen jälkeen ~/Videot -kansiota. Jos kumpaakaan ei löydy niin luodaan ~/Videot -kansio.

Lokista voi tarkastaa mikä kansio on käytössä:

Koodia: [Valitse]
cat /opt/auto_dl/logs/get_feed.log | tail
Tai mitä on nauhoitettu:

Koodia: [Valitse]
cat /opt/auto_dl/logs/recorded.log
Uudet tiedostot ovat esillä, päivitys tuon ensimmäisen viestin rimpsulla (tai haluttaessa purkamalla itse zip: in).
« Viimeksi muokattu: 18.09.12 - klo:13.30 kirjoittanut ajaaskel »
Autamme ilolla ja ilmaiseksi omalla ajallamme.  Ethän vaadi, uhoa tai isottele näin saamasi palvelun johdosta.