tv_grab_fi ja telkku.com ei toimi taas (?)

[samihs72]

Moi! Mulla lakkasi tv_grab_fi toimimasta torstaina 20.1 tai perjantaina 21.1.. Mulla on versio 1.62 ja sillä toimi nätisti telkku.com sivuston uudistuksen jälkeen mutta nyt taas ei.

Xmltv pukkaa virhekoodia 26624, väittää että tuollaisen linkin takaa ei saa statusta luettua http://www.telkku.com/channel/list/5/20110126    

Mythbackend.log pätkä liitteenä myös

Koodia: [Valitse]

2011-01-22 17:11:32.616 Checking day @ offset 4, date: ke tammi 26 2011
2011-01-22 17:11:32.641 Data refresh needed because only 10 out of 13 channels have at least one program listed for day @ offset 4 from 8PM - midnight.  Previous day had 13 channels with data in that time period.
2011-01-22 17:11:32.649 Refreshing data for ke tammi 26 2011
2011-01-22 17:11:32.658 XMLTV config file is: /home/mythtv/.mythtv/ttv.xmltv
2011-01-22 17:11:40.135 Reschedule requested for id -1.
2011-01-22 17:11:40.302 Scheduled 28 items in 0.2 = 0.01 match + 0.15 place
could not fetch http://www.telkku.com/channel/list/5/20110126, error: 500 Status read failed: Connection reset by peer, aborting
2011-01-22 17:11:54.209 FillData, Error: xmltv returned error code 26624



[ylläpito on poistanut liitteen]

[samihs72]

tv_grab_fi 1.65 versiolla sama juttu vaikka yritin putsata koko epg datan

Koodia: [Valitse]

mythfilldatabase --refresh-today --refresh-all


Koodia: [Valitse]


2011-01-22 17:44:16.103 Checking day @ offset 5, date: to tammi 27 2011
2011-01-22 17:44:16.103 Data Refresh needed because of user request
2011-01-22 17:44:16.103 Refreshing data for to tammi 27 2011
2011-01-22 17:44:16.104 XMLTV config file is: /home/sami/.mythtv/ttv.xmltv
could not fetch http://www.telkku.com/channel/list/10/20110127, error: 500 Status read failed: Connection reset by peer, aborting
2011-01-22 17:44:24.542 FillData, Error: xmltv returned error code 26624
2011-01-22 17:44:24.545 Error in 167:15: unexpected end of file
2011-01-22 17:44:24.546 IconData: Updating icons for sourceid: 1
2011-01-22 17:44:24.546 No programs found in data.
2011-01-22 17:44:24.547 Grabber is no longer returning program data, finishing
2011-01-22 17:44:24.598 Failed to fetch some program info
2011-01-22 17:44:24.599 Adjusting program database end times.
2011-01-22 17:44:24.623     0 replacements made
2011-01-22 17:44:24.624 Marking generic episodes.
2011-01-22 17:44:24.674     Found 1
2011-01-22 17:44:24.674 Fudging non-unique programids with multiple parts.
2011-01-22 17:44:24.690     Found 0
2011-01-22 17:44:24.690 Marking repeats.
2011-01-22 17:44:24.719     Found 0
2011-01-22 17:44:24.719 Unmarking new episode rebroadcast repeats.
2011-01-22 17:44:24.720     Found 0
2011-01-22 17:44:24.872 Marking episode first showings.
2011-01-22 17:44:28.519     Found 5128
2011-01-22 17:44:28.519 Marking episode last showings.
2011-01-22 17:44:32.193     Found 5128
2011-01-22 17:44:32.194


[realpet]

Mulla toimii edelleen tv_grab_fi versio 1.62. Olisko telkku.com ollut jumissa tms?
Kun laitat mythfilldatabasen ajoon, niin se alkaa generoimaan /tmp-hakemistoon tiedoston jonka nimi alkaa myth-sanalla.
Katso vaikka tail -f <sen_tiedoston_nimi> mitä sinne alkaa tulemaan, pitäisi tulla tvgrabberin dataa. File tuhotaan kun mythfilldatabase vaihtaa päivää (muistaakseni).
Samoin mulla toimi browserissa suoraan tuo mainitsemasi http://www.telkku.com/channel/list/5/20110126 -linkki, toimiko se sulla?

- Petri

[samihs72]

Mulla toimii edelleen tv_grab_fi versio 1.62. Olisko telkku.com ollut jumissa tms?
Kun laitat mythfilldatabasen ajoon, niin se alkaa generoimaan /tmp-hakemistoon tiedoston jonka nimi alkaa myth-sanalla.
Katso vaikka tail -f <sen_tiedoston_nimi> mitä sinne alkaa tulemaan, pitäisi tulla tvgrabberin dataa. File tuhotaan kun mythfilldatabase vaihtaa päivää (muistaakseni).
Samoin mulla toimi browserissa suoraan tuo mainitsemasi http://www.telkku.com/channel/list/5/20110126 -linkki, toimiko se sulla?

- Petri

Kyllä nuo molemmat linkit toimivat.. Tänään tuli jälleen sama herja äsken. Ei luulisi, että telkku.com enää jumissa on, kun sinne pääsee selaimella ihan normaalisti nytkin  

En taas ymmärrä, mikäköhän tuohon herjaan on syynä ts. miksi ei saa auki noita linkkejä. Täytyy seurata tilannetta.

EDIT: Kokeilin jälleen 1.62 versiolla ja näyttäis olevan satunnaiset nuo linkit, jotka eivät toimi ja homma kaatuu siihen. Nyt päästiin jo 4.2.2011 epg datoihin asti.. Jotain vikaa on serverillä ilmeisesti tai sitten tv_grab_fi skripti on hätäinen tms.  
En ymmärrä tätä hommaa nyt...

EDIT2: Niin, mulla on siis mythtv 0.24 käytössä Mythbuntu bug fixes -repojen kautta mutta kyllä xmltv vielä muutama päivä sitten toimi hienosti..

[samihs72]

Kun laitat mythfilldatabasen ajoon, niin se alkaa generoimaan /tmp-hakemistoon tiedoston jonka nimi alkaa myth-sanalla.
Katso vaikka tail -f <sen_tiedoston_nimi> mitä sinne alkaa tulemaan, pitäisi tulla tvgrabberin dataa. File tuhotaan kun mythfilldatabase vaihtaa päivää (muistaakseni).

Niin, ja tulee epg dataa ihan hyvin tuonne /tmp-hakemistoon... Nyt on 11 päivän epg datat haettuna mutta aina jossain kohtaa homma katkeaa ja tuo samainen herja tulee uudestaan.. Voisko tuo mythfilldatabase applikaatio olla rikki/liian hätäinen XMLTV:n osalta tms.?  

[realpet]

Niin, ja tulee epg dataa ihan hyvin tuonne /tmp-hakemistoon... Nyt on 11 päivän epg datat haettuna mutta aina jossain kohtaa homma katkeaa ja tuo samainen herja tulee uudestaan.. Voisko tuo mythfilldatabase applikaatio olla rikki/liian hätäinen XMLTV:n osalta tms.?  

Mulla oli jotain ongelmia 4 Sport Pro:in (tai 4 Sport, en muista tarkkaan) kanssa, joten kommentoin sen #:lla pois tiedostosta .mythtv/<mikä_lieneekään_xmltvn_inputfile>
En nyt muista ulkoa tuleeko sinne /tmp:hen luotavaan tiedostoon data kanava kerrallaan, mutta jos tulee, niin sitä seuraamalla voisi yrittää saada tolkkua minkä kanavan tiedot kosahtavat...

- Petri

[samihs72]

Mulla oli jotain ongelmia 4 Sport Pro:in (tai 4 Sport, en muista tarkkaan) kanssa, joten kommentoin sen #:lla pois tiedostosta .mythtv/<mikä_lieneekään_xmltvn_inputfile>
En nyt muista ulkoa tuleeko sinne /tmp:hen luotavaan tiedostoon data kanava kerrallaan, mutta jos tulee, niin sitä seuraamalla voisi yrittää saada tolkkua minkä kanavan tiedot kosahtavat...

- Petri

Tämä auttoi, kiitos !!!  Tuo 4 Sport tuossa näköjään sotki jotenkin, kun muuttui maksulliseksi. Kommentoin sen kanavan xmltv:n input filestä ja laitoin ko. kanavan "ei näkyväksi" Mythtv backendin kanavaluettelossa ja se oli siinä.

[realpet]

Mulla oli jotain ongelmia 4 Sport Pro:in (tai 4 Sport, en muista tarkkaan) kanssa, joten kommentoin sen #:lla pois tiedostosta .mythtv/<mikä_lieneekään_xmltvn_inputfile>
En nyt muista ulkoa tuleeko sinne /tmp:hen luotavaan tiedostoon data kanava kerrallaan, mutta jos tulee, niin sitä seuraamalla voisi yrittää saada tolkkua minkä kanavan tiedot kosahtavat...

- Petri

Tämä auttoi, kiitos !!!  Tuo 4 Sport tuossa näköjään sotki jotenkin, kun muuttui maksulliseksi. Kommentoin sen kanavan xmltv:n input filestä ja laitoin ko. kanavan "ei näkyväksi" Mythtv backendin kanavaluettelossa ja se oli siinä.

Hyvä että korjaantui. En jaksanut itse ongelmaan törmätessäni alkaa arpomaan aiheutuuku ongelma siitä, että kanavan nimi vaihtui vai siitä että kanavan ohjelmatiedot telkku.com:issa ovat jotenkin korruptoituneet. Aika ja osaamistaso eivät riitä asian syvempään tutkimiseen.

- Petri

[samihs72]

Onkohan taas jotain häikkää, kun ilmestyi taas virhekoodia MTV3-kanavan 27.3 päivän ohjelmatiedoille...   Tv_grab_fi versio 1.62 on käytössä...

Koodia: [Valitse]

2011-03-07 14:36:20.225 Refreshing data for su maalis 27 2011
2011-03-07 14:36:20.234 XMLTV config file is: /home/mythtv/.mythtv/ttv.xmltv
http://www.telkku.com/channel/list/3/20110327: Use of uninitialized value in subtraction (-) at /usr/bin/tv_grab_fi line 485.
http://www.telkku.com/channel/list/3/20110327: Use of uninitialized value $year in integer ge (>=) at /usr/share/perl/5.10/Time/Local.pm line 94.
http://www.telkku.com/channel/list/3/20110327: Use of uninitialized value $year in integer lt (<) at /usr/share/perl/5.10/Time/Local.pm line 97.
http://www.telkku.com/channel/list/3/20110327: Use of uninitialized value $year in integer ge (>=) at /usr/share/perl/5.10/Time/Local.pm line 97.
http://www.telkku.com/channel/list/3/20110327: Use of uninitialized value $year in integer gt (>) at /usr/share/perl/5.10/Time/Local.pm line 98.
Month '-1' out of range 0..11 at /usr/bin/tv_grab_fi line 485
2011-03-07 14:36:30.067 FillData, Error: xmltv returned error code 65280
2011-03-07 14:36:30.074 Error in 536:15: unexpected end of file
2011-03-07 14:36:30.079 IconData: Updating icons for sourceid: 1
2011-03-07 14:36:30.086 No programs found in data.


[realpet]

Onkohan taas jotain häikkää, kun ilmestyi taas virhekoodia MTV3-kanavan 27.3 päivän ohjelmatiedoille...   Tv_grab_fi versio 1.62 on käytössä...

Sama homma. Telkku.com:ista kun katsoo noita entryjä (esim. http://telkku.com/channel/list/3/20110328) niin sivut näyttävät olevan ihan ok. Jossain on taas jotain rikkoontunut...

- Petri

[jms-ubuntu]

Onkohan taas jotain häikkää, kun ilmestyi taas virhekoodia MTV3-kanavan 27.3 päivän ohjelmatiedoille...   Tv_grab_fi versio 1.62 on käytössä...

Ongelma taitaa liittyä jotenkin DST:n käsittelyyn kun sattuu niin sopivasti kesä-aikaan siirtymisen paikkeille ja offsetit päivää ennen ja jälkeen menee läpi ok (1.65:lla). Nyt haku toimii 1.60:lla toimii mutta 1.61-> ei. Joku welho osaa tuon varmasti korjata kädenkäänteessä...
160:n ja 1.61:n diffi:
http://xmltv.cvs.sourceforge.net/viewvc/xmltv/xmltv/grab/fi/tv_grab_fi?r1=1.60&r2=1.61

Edit: Tein bugiraportin suoraan sylttytehtaalle kun olen päivittänyt oman grabberini manuaalisesti versioon 1.65 eikä ole tietoa mikä on maverickin mukana tuleva versio...
http://sourceforge.net/tracker/?func=detail&aid=3203094&group_id=39046&atid=424135

[juha_t_k]

Täällä myös ongelmia, pitänee otta taas yhteyttä stefanb:hen 

[realpet]

Näyttää olevan jo troubleshootattu:

Actually the problem is with broken telkku.com data for MTV3 on
27-Mar-2011:

07.00 Voittovisa
07.50 Ostoskanava
07.20 F1 Ennakkolähetys
07.50 Dino, pikku dinosaurus
08.15 Superpahisten liiga

Since the last web site update the quality of the telkku.com data has gone
downhill :-/

The above data leads the code to think that there are more than 2 day
changes. Unfortunately the old code doesn't check for this situation and
that causes the error message. The new code for the tv_grab_fi rewrite just
ignores the broken data. I guess it is time to release it...

MTV3:n omilla sivuilla tuota päällekkäistä ohjelmatietoa ei ole. No tarvii odotella uutta versioa tv_grab_fi:stä...

- Petri

[realpet]

Näyttää olevan jo troubleshootattu:

MTV3:n omilla sivuilla tuota päällekkäistä ohjelmatietoa ei ole. No tarvii odotella uutta versioa tv_grab_fi:stä...

..  mutta eilen releasoitu 1.66 version tv_grab_fi:stä (http://xmltv.cvs.sourceforge.net/viewvc/xmltv/xmltv/grab/fi/tv_grab_fi) ei korjaa ongelmaa ...

[edit]Yritän 'korjata' ongelman lähettämällä palautetta telkku.com:iin [/edit]

[edit2]Ja purkkakorjauksena kommentoin xmltv:n inputtiedostosta MTV3:n pois, ajoin mythfilldatabasen ja poistin sen jälkeen kommentoinnin. Ideana saada edes vähän tekohengitysaikaa korjausta odotellessa. MTV3:n ohjelmat eivät siis toki tällöin.
Toinen vaihtoehto on ajaa käsin

Koodia: [Valitse]

mythfilldatabase --dont-refresh-tomorrow --refresh-day <index>jossa index on se päiväindex 27.3 jälkeisille päiville eli esim tänään 17, 18, 19, 20 jolloin päivittymättä jää vain 27.3 ohjelmatiedot[/edit2]

- Petri

[jms-ubuntu]

..  mutta eilen releasoitu 1.66 version tv_grab_fi:stä (http://xmltv.cvs.sourceforge.net/viewvc/xmltv/xmltv/grab/fi/tv_grab_fi) ei korjaa ongelmaa ...

Näyttää että toi 1.66 oli viimeinen versio 1.x-haarassa, erona 1.65:n ei muuta kuin versio-rivi ja poistettu tyhjä rivi lopusta:

Koodia: [Valitse]

86c86
< use XMLTV::Version '$Id: tv_grab_fi,v 1.65 2010/12/15 21:58:24 stefanb2 Exp $ ';
---
> use XMLTV::Version '$Id: tv_grab_fi,v 1.66 2011/03/10 21:20:11 stefanb2 dead $ ';
734d733
<
Nyt siellä on uusimpana 2.00, mutta se vaatii näköjään jotain lisävirittelyä aluksi. Täytyy kokeilla saako sitä toimimaan maverickin xmltv:n kanssa jotenkin...

[samihs72]

Nyt siellä on uusimpana 2.00, mutta se vaatii näköjään jotain lisävirittelyä aluksi. Täytyy kokeilla saako sitä toimimaan maverickin xmltv:n kanssa jotenkin...

Onko mitään hajua, miten tuo asennetaan ja konffataan? Näyttää aika monimutkaiselta näin äkkiseltään eli ei mene enää tyyliin: uusi skripti sisään ja ajoa 

[jms-ubuntu]

Onko mitään hajua, miten tuo asennetaan ja konffataan? Näyttää aika monimutkaiselta näin äkkiseltään eli ei mene enää tyyliin: uusi skripti sisään ja ajoa  

Jotenkin näin sain asennettua:

1. hae xmltv:n kehitys-version paketti (MAIN):
http://xmltv.cvs.sourceforge.net/viewvc/xmltv/xmltv/?view=tar&pathrev=MAIN

2. pura paketti ja siirry hakemistoon xmltv

3. tv_grab_fi vaatii JSON:n perl-modulin joten asenna paketti libjson-perl mikäli se ei jo ole asennettuna. Paketti löytyy ainakin maverickin perus-repoista.
 
4. aja komennot:

Koodia: [Valitse]

perl Makefile.PL
-katso että grabber-listassa on valittuna ainakin tv_grab_fi

Koodia: [Valitse]

make
make test (tämä ei ole pakollinen)

5. jos kääntö menee putkeen niin tv_grab_fi löytyy:

Koodia: [Valitse]

grab/fi/tv_grab_fi
# kopioi uusi grabberi paikoilleen, ota vanha talteen varmuudeksi
cp /usr/bin/tv_grab_fi /tmp
sudo cp grab/fi/tv_grab_fi /usr/bin
6. vielä pitää tehdä uusi conf-tiedosto grabberille:

Koodia: [Valitse]

tv_grab_fi --configureTämä hakee jokaiselta epg-lähteeltä (entisen telkku.com:n lisäksi ainakin mtv3.fi, telvis.fi & yle.fi) kanavat ja tallentaa ne oletuksena tiedostoon ~/.xmltv/tv_grab_fi.conf. Mä lisäsin kaikki kanavat ja sinne tuli niitä sellaiset reilu 400
Noista sitten kommentoin "turhat" pois, kopioin vanhan konffiksen talteen (mulla nimellä TTV.xmltv) ja kopioin uuden konffiksen vanhan päälle. Jos mythfilldatabase:a ajetaan käsin niin konffis pitää kopioida hakemistoon ~/.mythtv/TTV.xmltv ja lisäksi automaattista ajoa varten /home/mythtv/.mythtv/TTV.xmltv (korvaa TTV oman konfiguraatiosi mukaan)

7. lopuksi:

Koodia: [Valitse]

mythfilldatabaseEn katsonut aikaa mutta kauan kesti, arviolta 1,5h

[samihs72]

Onko mitään hajua, miten tuo asennetaan ja konffataan? Näyttää aika monimutkaiselta näin äkkiseltään eli ei mene enää tyyliin: uusi skripti sisään ja ajoa  

Jotenkin näin sain asennettua:

1. hae xmltv:n kehitys-version paketti (MAIN):
http://xmltv.cvs.sourceforge.net/viewvc/xmltv/xmltv/?view=tar&pathrev=MAIN

2. pura paketti ja siirry hakemistoon xmltv

3. tv_grab_fi vaatii JSON:n perl-modulin joten asenna paketti libjson-perl mikäli se ei jo ole asennettuna. Paketti löytyy ainakin maverickin perus-repoista.
 
4. aja komennot:

Koodia: [Valitse]

perl Makefile.PL
-katso että grabber-listassa on valittuna ainakin tv_grab_fi

Koodia: [Valitse]

make
make test (tämä ei ole pakollinen)

5. jos kääntö menee putkeen niin tv_grab_fi löytyy:

Koodia: [Valitse]

grab/fi/tv_grab_fi
# kopioi uusi grabberi paikoilleen, ota vanha talteen varmuudeksi
cp /usr/bin/tv_grab_fi /tmp
sudo cp grab/fi/tv_grab_fi /usr/bin
6. vielä pitää tehdä uusi conf-tiedosto grabberille:

Koodia: [Valitse]

tv_grab_fi --configureTämä hakee jokaiselta epg-lähteeltä (entisen telkku.com:n lisäksi ainakin mtv3.fi, telvis.fi & yle.fi) kanavat ja tallentaa ne oletuksena tiedostoon ~/.xmltv/tv_grab_fi.conf. Mä lisäsin kaikki kanavat ja sinne tuli niitä sellaiset reilu 400
Noista sitten kommentoin "turhat" pois, kopioin vanhan konffiksen talteen (mulla nimellä TTV.xmltv) ja kopioin uuden konffiksen vanhan päälle. Jos mythfilldatabase:a ajetaan käsin niin konffis pitää kopioida hakemistoon ~/.mythtv/TTV.xmltv ja lisäksi automaattista ajoa varten /home/mythtv/.mythtv/TTV.xmltv (korvaa TTV oman konfiguraatiosi mukaan)

7. lopuksi:

Koodia: [Valitse]

mythfilldatabaseEn katsonut aikaa mutta kauan kesti, arviolta 1,5h

Kiitos jms-ubuntu! Näyttäis toimivan näin ensisilmäyksellä ainakin. Nyt ajaa epg-datan huhtikuun puolelle mallikkaasti.

[samihs72]

Yksi kysymys jms-ubuntu:lle vielä: Onko sinulla mythtv:n backend konffis ennallaan kanavien suhteen eli onko sinulla määrittelyt kanavien XMLTV tunnus -kentässä esimerkiksi seuraavasti: YLE TV1: 1.telkku.com? Vai oletko muuttanut näitä XMLTV tunnus kenttien sisältöä?

[jms-ubuntu]

Yksi kysymys jms-ubuntu:lle vielä: Onko sinulla mythtv:n backend konffis ennallaan kanavien suhteen eli onko sinulla määrittelyt kanavien XMLTV tunnus -kentässä esimerkiksi seuraavasti: YLE TV1: 1.telkku.com? Vai oletko muuttanut näitä XMLTV tunnus kenttien sisältöä?

Eipä ollut tietoa miten toi oikein pitäisi tehdä, joten tein tähän hätään seuraavasti:

Muutin uusien epg-lähteiden mukanaantuomien "uusien" kanavien "callsign" ja "name" arvot vastaamaan mulla jo olleita nimiä. Tein muutokset varoituksista huolimatta mythwebin "channel info":n kautta.
Esim Ylen TV1:lle mulla tulee ohjelmatiedot seuraavasti:

Koodia: [Valitse]

xmltvid                 callsign        name
=============================================
1.tvnyt.fi              YLE TV1         YLE TV1
1.telkku.com            YLE TV1         YLE TV1
tv1.telvis.fi           YLE TV1         YLE TV1
1.index.mtv3.fi         YLE TV1         YLE TV1
tv1.fi.yle.fi           YLE TV1         YLE TV1

Mun nykyisessä konfiguraatiossa on jonkinlainen ongelma uusien epg-lähteiden myötä sen kanssa että eri lähteistä saattaa tulla esim. joku ohjelma erilaisella "title":llä, esim:
Beck: Heikoin lenkki
vs.
Beck: Heikoin lenkki (K15)