Auto DL -- nauhoituspalvelin YLE Areenalle

[ajaaskel]

ääkköset kysymysmerkeiksi

Onko viimeisin versio käytössä ?  

Ikkunakoko

Pienensin ikkunakoon oletusarvon ja lisäsin säätömahdollisuuden.   Nyt voi tuonne --> .auto_dl/autodl.conf   kirjoitella haluamansa ikkunakoon:

WindowHeight=700
WindowWidth=400

Pitäisi toimia myös systeeminlaajuisena (/etc/auto_dl/autodl.conf).  En ehtinyt testata vielä täydellisesti mutta näkyisi ikkuna säätyvän. Risuaidalla rivin alussa voi tavalliseen tapaan kommentoida pois rivin jota ei halua käyttää. Paransin myös käyttäjäloggausta kertomaan enemmän tapahtumista (katso .auto_dl/logs).

Uudet ohjelmat esillä.

[salai]

Viimeisimpään versioon on ilmeisesti livahtanut bugi: se ei enää hyväksy lainkaan /etc/auto_dl/autodl.conf-tiedostoa. Eli globaalia asetusta ei voi tehdä edes tallennuskansion osalta.

Koodia: [Valitse]

custom@custom-w8 ~ $ .auto_dl/edit_jobs
2012-09-27 23:15:51 +0300 Start complete.
2012-09-27 23:15:51 +0300 Using system defined WindowHeight: /home/Videot
2012-09-27 23:15:51 +0300 Using system defined WindowWidth: /home/Videot
Tämä valitsin ei ole käytettävissä. Katso lista sallituista valitsimista valitsimella --help.
2012-09-27 23:15:51 +0300 Nothing removed.

Virheilmoitus katoaa, jos tiedoston siirtää .auto_dl:ään. 

[Illu]

ääkköset kysymysmerkeiksi

Onko viimeisin versio käytössä ?  

Pienensin ikkunakoon oletusarvon ja lisäsin säätömahdollisuuden.   Nyt voi tuonne --> .auto_dl/autodl.conf   kirjoitella haluamansa ikkunakoon:

WindowHeight=700
WindowWidth=400

Keskiviikkoillan versio on käytössä. Mistä versionumeron helposti kurkkaa?

Ikkunakokoon ei ollut vaikutusta noilla em. lisäyksillä.

[ajaaskel]

Ikkunakoon muutos on vasta eilisillan (27.9) käyttäjäohjelmien (new_jobs/edit_jobs) versiossa v1.1 eli ei pidäkään toimia sitä ennen (ja uusimmalla versiolla).

Versiotarkastukseen ei ole vielä yhtä kätevää keskitettyä tapaa, kunkin ohjelman osan versio etenee kun uusia ominaisuuksia tai muutoksia tulee.  Näet oleellisimman versiohistorian tällä hetkellä melko pitkälle näin:

Uusien ohjelmien lisäys nauhoitukseen:

Koodia: [Valitse]

cat .auto_dl/new_jobs | grep V1.

Nykyinen nauhoituslista ja poistaminen sieltä:

Koodia: [Valitse]

cat .auto_dl/edit_jobs | grep V1.
RSS-syötelukija:

Koodia: [Valitse]

cat /opt/auto_dl/get_feed | grep V1.

[ajaaskel]

Viimeisimpään versioon on ilmeisesti livahtanut bugi: se ei enää hyväksy lainkaan /etc/auto_dl/autodl.conf-tiedostoa. Eli globaalia asetusta ei voi tehdä edes tallennuskansion osalta.

Koodia: [Valitse]

custom@custom-w8 ~ $ .auto_dl/edit_jobs
2012-09-27 23:15:51 +0300 Start complete.
2012-09-27 23:15:51 +0300 Using system defined WindowHeight: /home/Videot
2012-09-27 23:15:51 +0300 Using system defined WindowWidth: /home/Videot
Tämä valitsin ei ole käytettävissä. Katso lista sallituista valitsimista valitsimella --help.
2012-09-27 23:15:51 +0300 Nothing removed.

Virheilmoitus katoaa, jos tiedoston siirtää .auto_dl:ään.  

Tutkitaan..... tuo pyytämäsi "--vfat" on myös valmistelussa.

No nyt korjattu, oli  uudelle ominaisuudelle rakennetta muutettaessa jäänyt yksi muuttuja päivittämättä...  Käynpä seuraavaksi rakentamaan uutta ominaisuutta "--vfat".
 

[Ganymedes]

Kokeilin puhtaalta pöydältä (sekä /opt että /home/kayttaja/.auto_dl  tyhjäksi ensin) ja kaikki nuo löytämäni ongelmat näyttivät korjaantuneen. Paitsi että rootti omistaa syntyneet videot, ryhmä on oikein mutta sillä on vain lukuoikeus. Tämä ei tietenkään ole ongelma minulle mutta loppukäyttäjälle voi olla.

Ikkunankoko on hyvä, mutta en kokeillut konfata sitä. Videot menevät käyttäjäkohtaisesti muualle - se toimii.

Järjestelmän puhdistus varmaan vaatii myös loppukäyttäjän ohjeen - koska tuo opt:kin pitää tyhjentää ja servicet sammuttaa jms. Sinänsä tuo optin tyhjennys on tosi vaarallinen temppu tottumattomalle ... pieni kirjoitusvirhe ja jotain muuta lähtee kuin opt - siinähän on mukana myös " * " ja " f " ja myös " r " ... huippuvaarallista 

[ajaaskel]

Käynpä seuraavaksi rakentamaan uutta ominaisuutta "--vfat".

Ominaisuus toteutettu ja toi mukanaan yhden uuden asetuksen (systeemi/käyttäjäkohtainen asetus pitäisi toimia):

UseWinFilenames=yes

Oletusarvo on "no" jos tuota ei ole asetettu tiedoston kautta (tai kommentoitu pois tai arvo jotain muuta kuin "yes/no").

Tuo toimii vain tänään kirjoitetulla koodilla, laitoin juuri esille. Säädin lokitiedostoon kirjoittelun myös hieman monisanaisemmaksi.

Järjestelmän puhdistus varmaan vaatii myös loppukäyttäjän ohjeen...

Se ei jää ollenkaan tuolla tavalla loppukäyttäjille vaan niin että virhemahdollisuutta ei ole.  Olemme vielä siellä kokeneiden käyttäjien beta-testausvaiheessa 

[Illu]

No niin. Nyt on sitten "tullut kokeiltua" sitä sun tätä ja tuloksena on ,ettei hiiren oikea näpy anna enää valikkoa, josta voisi lisätä tai muokata valittuja. Juu, on kokeiltu poistaa kaikkea aiheeseen liittyvää ja asentaa uudestaan koko kuvio (ohjeen mukaisessa järjestyksessä). Yle-dl toimii kyllä mutta mikään automaattinen ei (siksi utelias säätely alkoikin), eikä se valikko. Mites nyt edetään?

Edit: Jaa uudelleenkäynnistys (ilmeisesti) toi valikon. Ja valintaikkunan koko toteutuu halutulla tavalla. Vaikka autodl.conffia ei ole koneella...

[Ganymedes]

Sanoisin, että:

- sammuta palvelu
- poista kaikki. Muista myös /opt/auto_dl

Ala asentamaan pikaohjeen mukaan, mutta katso virheilmoitukset Terminaalista läpi. Lopuksi pitää itse osata käynnistää Firefox uudestaan - muuten auto_dl:n menut eivät näy.

Valintaikkunan koko on korkeudeltaan nyt sopivan kokoinen oletuksena (normaaleilla näytöillä).

[ajaaskel]

Nyt helpottui sekä version että käyttäjän itse tekemien asetusten tarkastaminen.  Kirjoittelin asennuksen ja käyttäjäasetusten tarkastajan "adl_chk".  Lisäsin tuon myös itsekseen pyörähtämään kerran asennuksen lopuksi.  
Viimeisimmän version asennuksen jälkeen pystyy tuolla pintapuolisesti tarkastaman asennuksen. Samoin jos teet käyttäjäkohtaisen tai järjestelmän laajuisen "autodl.conf" -tiedoston niin sen vaikutuksen näkee.  

Koodia: [Valitse]

.auto_dl/adl_chk
Checking Auto DL setup:
Background:
    System-V Init     v1.0
    Job Manager     v1.02
    Feed Reader     v1.23
    TSV Converter     v1.0
Foreground:
    Job Maker     v1.12
    Job Editor     v1.14
    TSV Converter     v1.0
    Setup Check     v1.0

Configuration:
    Default DownloadPath=/home/arto/Videot
    Default WindowHeight=600
    Default WindowWidth=400
    Default UseWinFilenames=no
    System autodl.conf found.
    User autodl.conf found.



Se kirjoittaa tasan saman myös "adl_chk.log" -tiedostoon jos tuolle antaa " miinus L-kirjain" perään (saa olla pieni tai iso):

Koodia: [Valitse]

.auto_dl/adl_chk -L
Ohjelma tarkastaa tiedostojen olemassaolon ja kunkin version sekä käy tulkitsemassa autodl.conf tiedostot näyttäen niiden vaikutuksen.  Ylläolevassa esimerkissä "autodl.conf" on kahdessa paikassa  olemassa mutta määritykset niissä on kommentoitu pois vaikuttamasta risuaidoilla '#'.

[ajaaskel]

Valintaikkunan koko on korkeudeltaan nyt sopivan kokoinen oletuksena (normaaleilla näytöillä).

Hyvä, jätetään ne oletusarvot sitten sellaiseksi.  

1)  Miten tuo ladattujen tiedostojen omistaja, onko siinä esiintynyt edelleen ongelmaa ?  Liittyykö tämä siihen että oletuksena oleva "Videot/Videos" -kansio on vaihdettu (ja minne)  ?   Ohjelman toimintatavasta, latausvaiheessa ohjelma tippuu aina ensin "root" omistajalle. Kun lataus on päättynyt ohjelma käy perässä korjaamassa omistajan sille käyttäjälle jonka kotikansion alla tuo "Videot/Videos/ tms." on.

2) Onko "--vfat" -toteutus sellainen kuten toivottiin ?

3)  Loppuun miettimättä ja toteuttamatta on edelleen omistajuus/ryhmä/oikeusjärjestelyjen kannalta tilanne jossa latauskansio muutetaan jonnekin aivan muualla (ei enää kunkin käyttäjän kotikansion alla)  yhteen ainoaan paikkaan kaikille ja sinne tippuu Matin, Maijan, Liisan ja Villen tiedostoja.  Jossain tilanteessa kaikkien pitäisi nähdä toistensa tiputtamat ohjelmat (kun ohjelma on kerran tiputettu se ei tipu uudestaan toisellekaan käyttäjälle --- levytilan säästö). Toisessa tilanteessa kaiken näkyminen kaikille ei ole toivottavaa (lasten ohjelmat / aikuisten ohjelmat tms.).    Ideoita ?  Ideaalinen rakenne ?

    

[Ganymedes]

1)  Miten tuo ladattujen tiedostojen omistaja, onko siinä esiintynyt edelleen ongelmaa ?  Liittyykö tämä siihen että oletuksena oleva "Videot/Videos" -kansio on vaihdettu (ja minne)  ?   Ohjelman toimintatavasta, latausvaiheessa ohjelma tippuu aina ensin "root" omistajalle. Kun lataus on päättynyt ohjelma käy perässä korjaamassa omistajan sille käyttäjälle jonka kotikansion alla tuo "Videot/Videos/ tms." on.

Kyllä kaikki uudemmat, jostakin syyskuun lopun päivämäärästä lähtien jolloin viimeksi tein asennuksen (päiväykset löytyvät posteistani jos kiinnostaa) omistaja on aina "root".

Paikka mihin on muutettu, tälle yhdelle käyttäjälle vain, on esim. (muitakin koneita on ollut testissä):
"/data5/home5/data/YleVideos" . Ja kyllä, tämä hakemisto on omistajalla ja siihen on oikeudet. Joissakin yli viikon ikäisissä on oikeakin omistaja (siis nauhoitettu sen aikaisilla ohjelmaversioilla).

3)  Loppuun miettimättä ja toteuttamatta on edelleen omistajuus/ryhmä/oikeusjärjestelyjen kannalta tilanne jossa latauskansio muutetaan jonnekin aivan muualla (ei enää kunkin käyttäjän kotikansion alla)  yhteen ainoaan paikkaan kaikille ja sinne tippuu Matin, Maijan, Liisan ja Villen tiedostoja.  Jossain tilanteessa kaikkien pitäisi nähdä toistensa tiputtamat ohjelmat (kun ohjelma on kerran tiputettu se ei tipu uudestaan toisellekaan käyttäjälle --- levytilan säästö). Toisessa tilanteessa kaiken näkyminen kaikille ei ole toivottavaa (lasten ohjelmat / aikuisten ohjelmat tms.).    Ideoita ?  Ideaalinen rakenne ?

Mielestäni tiedostojen käsittely nauhoituksen jälkeen voisi olla jokaisen oma asia. Esim.:
- henkilökohtainen tallennus omaan hakemistoon
- siirtäminen sieltä yhteiseen hakemistoon oman logiikkansa mukaan
TAI
- siirtäminen kokonaan toisella laitteelle katselu varten (esim. Maxell Android tabletille, 8", näyttää näitä hyvin tekemättä mtään. Käytännössä käytän USB-tikkua tabletin kyljessä)

Tietysti joku fiksu ohjelma auttaisi tällaisessa tiedostojen siirrossa tai kopioinnissa, mutta se voisi olla kokonaan oma juttunsa. Muutenhan tämä on helppoa tehdä, mutta se, että jos service ei ole pysäytetty, voi kopiointi jäädä vajaaksi. Ja kun massaa on paljon, ei se sitten enää ole niin yksinkertaista, jos ei osaa käyttää esim. rsync:iä. Tietysti sekin että skandit puuttuvat (joistakin tiedostoista), aiheuttaa omat hankaluutensa kun tiedostoja vertailee.

[Illu]

Uusi asennus ke 3. lokakuuta ja autodl.confissa tallennus asetettuna eri kansioon (minulla "ylelataukset") jättää omistuksen rootille. Pitäisikö myös System autodl.conf asettaa?

Ikkunan koko on hyvä.

Loppusijoituspaikkaa varten voisi tarvittaessa (osaava) tehdä erikseen jonkin koodinpätkän (ainakin tässä vaiheessa). Kunhan tallennuskansion toiminta asettuisi mallilleen.

[salai]

Tää on kyllä aika hyvässä mallissa nyt, mistä suuri kiitos ajaaskelelle.

Sain juuri valmiiksi sellaisen remasteroidun usb-tikun, jossa käynnistys tapahtuu tikun kakkospartitiolta ja ohjelmien tallennus isommalle fat32 ykköspartitiolle.

Koodia: [Valitse]

Configuration:
System defined DownloadPath=/media/AREENA/
System defined WindowHeight=600
System defined WindowWidth=400
System defined UseWinFilenames=yes
System autodl.conf found.

Tarkoituksena on käyttää tikkua sitten noiden videoitten esittämiseen televisiossa - kaikissahan on nykyisin usb-liitäntä, mutta harvoissa netti DLNA-toimintoineen (ja sekin yleensä huonosti toimiva).

Tuohon liittyen olisi aika hieno sellainen lisäys, että autodl:n asetuksissa voisi määritellä jonkin vapaavalintaisen skriptin/ohjelman ym. suoritettavaksi tiedostoille latauksen lopuksi. Saisi automatisoitua avi/divx:ksi muunnoksen (MiniDLNA vaatii sitä) ja tiedostojen edelleen kopioimisen esim. verkkokovalevylle.

Miten muuten tyylikkäästi katkaistaan lataus muuten kuin ehkä nettipiuhan irroittamisella? Kävi testatessa niin, että sammutin väkisin koneen, jolloin usb-tikun fat32-tiedostot jäivät read-onlyksi vaatien partition formatoimisen.

Vieras/guest-tilillä ei lataus onnistu.
.auto_dl/adl_chk jättää nuo tiedot tyhjiksi ja väriltään punaisiksi:

Koodia: [Valitse]

Foreground:
Job Maker Not found
Job Editor Not found
TSV Converter Not found
Setup Check Not found
Mitähän puuttuu guestin asetuksista?

[ajaaskel]

Kirjoittelen illan kuluessa ja ehkä huomennakin hieman lisäyksiä, parannuksia ja uusia asioita ohjelmaan kaikkien kommenttien pohjalta.

...johdon irrottaminen...

Tuota latausta on tahallisesti hieman suojattu ettei se ainakaan vahingossa katkeaisi.  "killall" tepsii ja "pgrep -l  <etsittävän_nimen_alku>" löytää nopeasti mitä tarvitset.

Mitähän puuttuu guestin asetuksista?

Tuo tarkoittanee että /home/guest/.auto_dl puuttuu kaikkine rakenteineen.  Jos tuo "guest" oli jo olemassa kun asennusta ajettiin niin tuo vaatii lisätutkimusta.  Korjauksena/testinä voisi seurata päätteessä eikö asennusohjelma huomaa tuota käyttäjää tai mitä siellä sitten tapahtuukin "guest": in kohdalla.

Tuohon liittyen olisi aika hieno sellainen lisäys, että autodl:n asetuksissa voisi määritellä jonkin vapaavalintaisen skriptin/ohjelman ym. suoritettavaksi tiedostoille latauksen lopuksi.

Tutkitaan.

[ajaaskel]

1) Nauhoituskansio muualla_ja_"root" -omistaja on korjattu.  Testattu polulla "/data5/home5/data/YleVideos".

2) Uusi määritys käytettävissä oman skriptin ajoon kunkin nauhoituksen jälkeen.  Skriptin täytyy olla "bash" tai "sh" rakenteeltaan, nimellä ei ole väliä. Ohjelma tarkastaa että "Sha-Bang" löytyy skriptin alusta ennen ajon käynnistämistä. Myös tarkastusohjelma ".auto_dl/adl_chk" tarkastaa tuon käyttökelpoisuuden.  Skripti ajetaan käyttäjän tunnuksella. Määritys on muodoltaan:

Koodia: [Valitse]

RecordExitTask=<polku_skriptitiedosto>
esimerkki:

RecordExitTask=/home/matti/tiedostomuunnos

Tuon esimerkin "tiedostomuunnos" pitää laittaa ajokelpoiseksi (chmod +x tiedostomuunnos) jotta se toimisi.  Auto DL -ohjelma loggaa virheen jos tuo ajo-oikeus puuttuu, jos koko tiedosto puuttuu tai yrittää ajaa mitä tahansa muuta kuin bash/sh -skriptiä.

Uudet tiedostot ovat jälleen esillä.

[salai]

Näyttäisi melkein toimivan nyt, skriptihommakin.

Tosin jostain syystä Unna Junnán lataus jättää aina kaksi rtmpdump-prosessia pyörimään 100% kuormalla ja ne pitää erikseen tappaa. Ja tämä tapahtuu ilman mitään skriptejäkin.

Se mainitsemani vieras/guest on Lightdm:n mukana tullut kirjautumisruudusta valittava vierasistunto, joka olisi hyvin hyödyllinen toiminto vierailevalle käyttäjälle. Se hakee kertakäyttöiset asetuksensa /etc/skel:istä tai omasta /etc/guest-session/skel:istä.

Vaikka ei tuo vierassessio kaikkinensa ole edes toiminut kunnolla: vaikka Lubuntu 12.04 ja Peppermint Three:ssä on Chromium oletusselaimena, ei se edes käynnisty guestilla.

Ellei sitten joku backporttaa juuri tullutta korjausta: [SOLVED] Unable to open chromium-browser in guest session - Ubuntu Forums

[ajaaskel]

Tosin jostain syystä Unna Junnán lataus jättää aina kaksi rtmpdump-prosessia pyörimään 100% kuormalla ja ne pitää erikseen tappaa. Ja tämä tapahtuu ilman mitään skriptejäkin.

En osaa arvata syytä tuolle, täällä nuo (koko sarja) tipahtivat normaalisti hetki sitten. 

[salai]

Toisessa koneessa Lubuntu 12.04 ei ilmennyt ongelmia.

Aika vähillä säädöillä nuo Areenan videoitten tekstit saa näkyviin viimeisimmissä distroissa (testattu Lubuntu 12.04 ja Peppermint Three):
Asentaa vain dconf-tools:in ja menee dconf-editorilla muokkaamaan gnome-mplayerin asetuksia (apps>gnome-mplayer). Sieltä löytyy tekstityksen kieli (oletuksena joku Zumbamaa?), pistekoko (oletus 0!), väri ym, jotka voi asettaa suoraan soittimestakin. Subtitle-fuzzines = 1 ei kuitenkaan tallennu soittimesta vaihtamalla, vaan se täytyy asettaa dconf-editorilla. Tuo tarkoittaa, että soitin hakee sopivan tekstityksen nimen osan perusteella.

Tämän jälkeen tekstitys toimii automaattisesti Gnome-mplayerissä ja myös selaimen Gecko-mediaplayerissä, jos selaimeen (esim. Firefox ja Chromium) avaa videoitten kansion. Tekstit toistuvat oikein myös samba-jaosta soitettaessa.

Asetukset talletetaan binaariseen .config/dconf/user-tiedostoon, jonka voi kopioida uusia käyttäjiä varten /etc/skel:iin tai suoraan valmiin käyttäjän kotikansioon.

Aika monta päivää meni tuonkin tiedon löytämiseen, kun joka paikassa annetaan ohjeita vanhoista *.conf-tiedostoista ja gconf-editorista.

[ajaaskel]

Tämän jälkeen tekstitys toimii automaattisesti Gnome-mplayerissä ja myös selaimen Gecko-mediaplayerissä, jos selaimeen (esim. Firefox ja Chromium) avaa videoitten kansion. Tekstit toistuvat oikein myös samba-jaosta soitettaessa.

Asetukset talletetaan binaariseen .config/dconf/user-tiedostoon, jonka voi kopioida uusia käyttäjiä varten /etc/skel:iin tai suoraan valmiin käyttäjän kotikansioon.

Mainiota, tuo on hyödyllinen havainto.