TV-kanavien teletext -tekstityssivut

[jarmala]

Norminmukaisen dvb-tekstyksen (tämä siis grafiikkana) lisäksi jotkut kanavat lähettävät myös tekstityksen teletext -sivuilla, joilla se on saatavissa esim. ProjectX:llä ulos silkkana tekstinä esim. srt-muodossa.

YLE:llä nämä sivut ovat TV1 451, TV2 452 ja Teema 453 (ja FEM aikoinaan 771).

Mutta tietääkö kukaan, millä sivulla on AVA:n teletext -tekstitys? Olen nyt guuglaillut sitä jo 15 minuuttia, eikä mistään tärppää. Kysynkin siis sitä täältä.

Tausta tähän kysymykseeni on se, että Avidemux ei osaa käsitellä dvb-tekstitystä ja hukkaa ne. FFMPEG:llä taas ei voi käytännössä leikata leffojen mainoskatkoja pois, koska ohjelma on komentorivipohjainen. ProjectX:llä SD-leffat voi leikata ja tekstit saa talteen srt:nä, jos vaan tietää, millä sivulla tekstitys on...

[nm]

Veikkaan, ettei AVA lähetä tekstitystä teksti-tv:n kautta.

Jos nyt oikein muistan, Ylen kanavillakin teletext-tekstitys on tarkoitettu satelliittivastaanottoon, ja siksi tekstityksessä on myös parin sekunnin aikaero kuvaan ja ääneen verrattuna.

[jarmala]

Veikkaan, ettei AVA lähetä tekstitystä teksti-tv:n kautta.

Lähettää se, FFMPEG:in mukaan siinä on:

Koodia: [Valitse]

Input #0, mpegts, from 'Viimeinen Samurai.m2t':
  Duration: 03:15:59.13, start: 23236.129178, bitrate: 2670 kb/s
  Program 155
    Stream #0:0[0x20e]: Video: mpeg2video (Main) ([2][0][0][0] / 0x0002), yuv420p(tv, top first), 720x576 [SAR 64:45 DAR 16:9], 25 fps, 25 tbr, 90k tbn, 50 tbc
    Stream #0:1[0x2d6](fin): Audio: mp2 ([4][0][0][0] / 0x0004), 48000 Hz, stereo, s16p, 224 kb/s
    Stream #0:2[0x424](fin): Subtitle: dvb_subtitle ([6][0][0][0] / 0x0006)
    Stream #0:3[0x1392](fin): Subtitle: dvb_teletext ([6][0][0][0] / 0x0006), 492x250

Eli tuo 0:3 on dvb_teletext... Hmm, vai onko sillä sitten ollenkaan tekstitystä, vaikka siinä onkin MTV:n teleteksti... Tietääkö kukaan?

No, jos siinä ei ole, niin tulee sitten seuraava kysymys:

Millä Linuxissa toimivalla videoeditorilla saa poistettua mainoskanavien mainoskatkot leffoista niin, että dvb-tekstitys (#0:2) säilyy ehjänä?

[nm]

Lähettää se, FFMPEG:in mukaan siinä on:

Koodia: [Valitse]

Input #0, mpegts, from 'Viimeinen Samurai.m2t':
  Duration: 03:15:59.13, start: 23236.129178, bitrate: 2670 kb/s
  Program 155
    Stream #0:0[0x20e]: Video: mpeg2video (Main) ([2][0][0][0] / 0x0002), yuv420p(tv, top first), 720x576 [SAR 64:45 DAR 16:9], 25 fps, 25 tbr, 90k tbn, 50 tbc
    Stream #0:1[0x2d6](fin): Audio: mp2 ([4][0][0][0] / 0x0004), 48000 Hz, stereo, s16p, 224 kb/s
    Stream #0:2[0x424](fin): Subtitle: dvb_subtitle ([6][0][0][0] / 0x0006)
    Stream #0:3[0x1392](fin): Subtitle: dvb_teletext ([6][0][0][0] / 0x0006), 492x250


Okei, taitaa siellä sitten jokin teletext-tekstitys olla. Sivunumero on varmaankin selvitettävissä ffprobella:

Koodia: [Valitse]

ffprobe -print_format json -show_data -show_streams -select_streams s "Viimeinen Samurai.m2t" | python -m json.tool
Listauksen extradata-kohdassa on käsittääkseni sivunumero viimeisenä kenttänä.

Millä Linuxissa toimivalla videoeditorilla saa poistettua mainoskanavien mainoskatkot leffoista niin, että dvb-tekstitys (#0:2) säilyy ehjänä?

VDR:llä, mutta jollain toisella ohjelmalla tehdyn tallenteen siirtäminen VDR:n tallenteeksi on hankalaa, vaikka TS-muotoinen tallenne olisi sinänsä yhteensopiva.

[jarmala]

Koodia: [Valitse]

ffprobe -print_format json -show_data -show_streams -select_streams s "Viimeinen Samurai.m2t" | python -m json.tool

Kiitoksia. Tuollaista komentoa en olisi itse osannut keksiäkään... Se sanoo:

Koodia: [Valitse]

        {
            "avg_frame_rate": "0/0",
            "codec_long_name": "DVB teletext",
            "codec_name": "dvb_teletext",
            "codec_tag": "0x0006",
            "codec_tag_string": "[6][0][0][0]",
            "codec_time_base": "0/1",
            "codec_type": "subtitle",
            "disposition": {
                "attached_pic": 0,
                "clean_effects": 0,
                "comment": 0,
                "default": 0,
                "dub": 0,
                "forced": 0,
                "hearing_impaired": 0,
                "karaoke": 0,
                "lyrics": 0,
                "original": 0,
                "timed_thumbnails": 0,
                "visual_impaired": 0
            },
            "duration": "11758.140000",
            "duration_ts": 1058232600,
            "extradata": "\n00000000: 0900                                     ..\n",
            "height": 250,
            "id": "0x1392",
            "index": 3,
            "r_frame_rate": "0/0",
            "start_pts": 4040979428,
            "start_time": "44899.771422",
            "tags": {
                "language": "fin"
            },
            "time_base": "1/90000",
            "width": 492
        }

Eipä tuosta nyt heti pistä silmään mitään sivunumeroon viittaavaa. Hmm?

[nm]

Koodia: [Valitse]

            "extradata": "\n00000000: 0900                                     ..\n"


Sivu on 100, kun tuon 0x0900:n dekoodaa ETSI EN 300 468:n mukaan. Eli luku on kaksi tavua heksadesimaalimuodossa, joista ekat 5 bittiä teletext_type, sitten 3 bittiä teletext_magazine_number (sivunumeron sadat), 4 bittiä sivun kymmenet ja viimeiset 4 bittiä sivun viimeinen numero.

0x900 = 00001 001 0000 0000

teletext_type = 1 (initial page)
teletext_magazine_number = 1
teletext_page_tens = 0
teletext_page_units = 0

[Jiku]

Millä Linuxissa toimivalla videoeditorilla saa poistettua mainoskanavien mainoskatkot leffoista niin, että dvb-tekstitys (#0:2) säilyy ehjänä?

Sen pitäisi onnistua näin:

Koodia: [Valitse]

ffmpeg -i alkup.ts -ss 00:00:30 -t 00:50:00 -map 0:v -map 0:a -map 0:s -c:v copy -c:a copy -c:s copy -async 1 cut.ts
Eli käytännössä pitäisi siis leikata pätkä mainoskatkoon saakka, toinen pätkä mainoskatkosta loppuun ja yhdistää ne.
Tuo mappays on tärkeää, muuten tekstit tippuu pois.


comskip/ comchap voisi olla hyviä pohjia jos haluaa oman skriptin rakentaa
Nuo on taas alunperin suunniteltu ohjelmaan comskip jolla voi automaattisesti tunnistaa mainoskatkoja.
Mutta aivan idioottivarmaksi tuota tunnistamista tuskin saa.

edit: halusitkin että on graafinen ohjelma.. Yksi vaihtoehtohan on tietysti polttaa tekstit kiinteäksi, sen jälkeen homma helpottuu huomattavasti.
Graafisista ohjelmista ainakin Handbrake osaa sen.

[jarmala]

Sivu on 100, kun tuon 0x0900:n dekoodaa ETSI EN 300 468:n mukaan. Eli luku on kaksi tavua heksadesimaalimuodossa, joista ekat 5 bittiä teletext_type, sitten 3 bittiä teletext_magazine_number (sivunumeron sadat), 4 bittiä sivun kymmenet ja viimeiset 4 bittiä sivun viimeinen numero.

0x900 = 00001 001 0000 0000

teletext_type = 1 (initial page)
teletext_magazine_number = 1
teletext_page_tens = 0
teletext_page_units = 0

Hmm, kokeilin ottaa projectx:llä tekstitvsivun 100, mutta ei se tunnu ihan oikealta:

Koodia: [Valitse]

1
00:00:05,869 --> 00:00:11,869
SEURAA AINA KUN HALUAT
S.899
Postin lakko alkaa maanantaina      103
Wärtsilä irtisanoo 92 työntekijää   162
Leijonat kaatoi hienosti Venäjän    225
Toni Piispanen kelasi MM-kultaan    296
Suosikkihahmo jättää Salkkarit      121
Tekstiviesti ennustuksia s.777
www.ennustaja.info   2,50e/kpl
Uutiset 102   Viihde 120    Urheilu 201
SYKSYN KUUMINTA SEURAA
www.puhelin.xxx  2,34e/min+pvm
s.859 K18 s.825
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
Uusi korkokatto astui voimaan s.700

Eli ei vielä ihan mätsää oikeiden tekstityksien kanssa. Kyllä nyt tässä vaiheessa saisi jo joku AVA:n edustaja vastata kysymykseen, millä sivulla heidän tektityksensä on...

[jarmala]

Sen pitäisi onnistua näin:

Koodia: [Valitse]

ffmpeg -i alkup.ts -ss 00:00:30 -t 00:50:00 -map 0:v -map 0:a -map 0:s -c:v copy -c:a copy -c:s copy -async 1 cut.ts
Eli käytännössä pitäisi siis leikata pätkä mainoskatkoon saakka, toinen pätkä mainoskatkosta loppuun ja yhdistää ne.
Tuo mappays on tärkeää, muuten tekstit tippuu pois.

edit: halusitkin että on graafinen ohjelma.. Yksi vaihtoehtohan on tietysti polttaa tekstit kiinteäksi, sen jälkeen homma helpottuu huomattavasti.
Graafisista ohjelmista ainakin Handbrake osaa sen.

Kiitoksia. Ffmpeg periaattessa kyllä osaa sen, mutta kun leffassa on viisi mainoskatkoa, niin ei viitsi tehdä tuota kuutta kertaa: etsiä jaksojen alku- ja loppuajat ja lopuksi yhdistää ne kuusi palasta. Tahtoisi helpomman keinon...

Handbrake: loistavaa, jos se osaa polttaa dvb-tekstit kuvaan kiinni. Äkkiä neuvoja tänne, miten se tehdään, niin minäkin voisin oppia sen. Jooko? Ja sitten kun tekstit on poltettu kuvaan kiinni, leffan leikkaaminen on sen jälkeen lastenleikkiä.

[Cultor]

Kiitoksia. Ffmpeg periaattessa kyllä osaa sen, mutta kun leffassa on viisi mainoskatkoa, niin ei viitsi tehdä tuota kuutta kertaa: etsiä jaksojen alku- ja loppuajat ja lopuksi yhdistää ne kuusi palasta. Tahtoisi helpomman keinon...

Handbrake: loistavaa, jos se osaa polttaa dvb-tekstit kuvaan kiinni. Äkkiä neuvoja tänne, miten se tehdään, niin minäkin voisin oppia sen. Jooko? Ja sitten kun tekstit on poltettu kuvaan kiinni, leffan leikkaaminen on sen jälkeen lastenleikkiä.

Handbrakesta en mitään osaa sanoa, ffmpeg'illä olen polttanut tekstit kuvaan. Muistiinpanoista löytyi Maximum-tallenteiden muunnosloitsu.

Koodia: [Valitse]

ffmpeg -i Elokuva.ts -acodec copy -vcodec libx264 -vb 1600k -s 854x480 -aspect 16:9 -vpre libx264-ipod640 -filter_complex "[0:0][0:4]overlay" -sn Elokuva.mp4
Oikean tekstistreemin saa selville ffprobe'lla.

Koodia: [Valitse]

ffprobe Nazcan_linjojen.ts

Input #0, mpegts, from 'Nazcan_linjojen.ts':
  Duration: 00:59:49.07, start: 13957.788533, bitrate: 4076 kb/s
  Program 17
    Metadata:
      service_name    : ?YLE TV1
      service_provider: ?YLE
    Stream #0:0[0x200]: Video: mpeg2video (Main) ([2][0][0][0] / 0x0002), yuv420p(tv, top first), 720x576 [SAR 64:45 DAR 16:9], 25 fps, 25 tbr, 90k tbn, 50 tbc
    Stream #0:1[0x28a](eng): Audio: mp2 ([4][0][0][0] / 0x0004), 48000 Hz, stereo, s16p, 224 kb/s
    Stream #0:2[0x28b](dut): Audio: mp2 ([4][0][0][0] / 0x0004), 48000 Hz, stereo, s16p, 160 kb/s (visual impaired)
    Stream #0:3[0x403](fin): Subtitle: dvb_subtitle ([6][0][0][0] / 0x0006)
    Stream #0:4[0x911](fin): Subtitle: dvb_teletext ([6][0][0][0] / 0x0006)

[Jiku]

Nyt kun Handbrakea katsoin, niin enpä löytänytkään mahdollisuutta saada transport streamin tekstejä kiinteäksi. Muistinkohan niin väärin, että olen ne ensin .srt-tiedostoksi muuttanut ja vasta sitten polttanut..
Mulla on tuohon liittyen aika alkutekijöissään oleva projekti, joka OCR-tunnistaa tekstit ja muuttaa ne srt-muotoon DVB-tekstistä ja DVD-levyjen tekstistä.
dvbteksti2srt
Voisin siihen lisätä kyllä tuon kuvaan poltto-ominaisuuden myös. Se on tosiaan helppo tolla ffmpegin overlaylla tehdä suoraan ilman OCR-tunnistustakin.
Laitoin sulle jarmala yksityisviestin asiaan liittyen!

Edit: Tässä olisi pikainen testiversio skriptistä, joka ffmpegillä polttaa tekstin kiinni kuvaan: ts_polta_teksti
Tukee nyt DVB ja teksi-tv-tekstejä. Teksti-tv sivunumeron tunnistus on purkkaa ja toimii jos toimii..

[kamara]

Nyt kun Handbrakea katsoin, niin enpä löytänytkään mahdollisuutta saada transport streamin tekstejä kiinteäksi. Muistinkohan niin väärin, että olen ne ensin .srt-tiedostoksi muuttanut ja vasta sitten polttanut..
Mulla on tuohon liittyen aika alkutekijöissään oleva projekti, joka OCR-tunnistaa tekstit ja muuttaa ne srt-muotoon DVB-tekstistä ja DVD-levyjen tekstistä.
dvbteksti2srt
Voisin siihen lisätä kyllä tuon kuvaan poltto-ominaisuuden myös. Se on tosiaan helppo tolla ffmpegin overlaylla tehdä suoraan ilman OCR-tunnistustakin.
Laitoin sulle jarmala yksityisviestin asiaan liittyen!

Edit: Tässä olisi pikainen testiversio skriptistä, joka ffmpegillä polttaa tekstin kiinni kuvaan: ts_polta_teksti
Tukee nyt DVB ja teksi-tv-tekstejä. Teksti-tv sivunumeron tunnistus on purkkaa ja toimii jos toimii..

Itse tein vastaavan projektin, jo aiemmin...
Tässä on linkki siihen...
https://forum.ubuntu-fi.org/index.php?topic=51035.msg417150#msg417150

Sorsatkin on mukana.

... ja saa sitä parannellakin.

[Postimies]

Millä Linuxissa toimivalla videoeditorilla saa poistettua mainoskanavien mainoskatkot leffoista niin, että dvb-tekstitys (#0:2) säilyy ehjänä?

Itse pätkin vdr:llä. Kun painaa kauko-ohjaimen "0" näppäintä se tekee "merkin" eli tallentaa ajankohdan tiedostoon. Kun kaikki mainokset ovat löytyneet voi painaa näppäintä "2" ja vdr aloittaa tallenteen pätkimisen. Katkaisukohtia pitää olla oikea määrä - vahingossa voi jäädä pelkät mainokset jäljelle. Kannattaa tarkistaa. Systeemi melko kätevä ja toimii sohvalta käsin. En ole kokeillut toimiiko muilla kuin VDR:n tallenteilla. Kuitenkin jos ajat saa talteen, niin se helpottaa paljon jatkokäsittelyä.

VLC osannee myös ts-tallenteita näyttää ja koodata tekstit kuvaan. En ole kokeillut. Nyt olisi tarvetta tehdä toimiva matroska Elisan boxille, joka ei tunnu osaavan edes matroskan tekstejä. Ei huvittaisi kantaa konetta mukana yhden leffan takia. Kaverilla on Elisan viihdeboxi joka sentään osaa ntfs tiedostojärjestelmän. TV:n soitin osaa vain fat-tikut.

[jarmala]

Laitoin sulle jarmala yksityisviestin asiaan liittyen!

Edit: Tässä olisi pikainen testiversio skriptistä, joka ffmpegillä polttaa tekstin kiinni kuvaan: ts_polta_teksti
Tukee nyt DVB ja teksi-tv-tekstejä. Teksti-tv sivunumeron tunnistus on purkkaa ja toimii jos toimii..

Kiitoksia! Testejä ajetaan parhaillaan... Vartokaa...

Juu, onnistuu se! No nyt rupeaa homma pelittämään.

[Postimies]

Kiitoksia! Testejä ajetaan parhaillaan... Vartokaa...

Juu, onnistuu se! No nyt rupeaa homma pelittämään.

Toimiiko tuo ts_polta_teksti myös jos tallenne on useammassa osassa?
Itsellä kun on noita HD-leffoja 2G tiedostoissa. VDR pätkii leffat oletuksena,
jos kokorajaa ei muista muuttaa. 

[Jiku]

Nyt on tekstipohjaisen lisäksi yksinkertainen purkkaviritys graafisella käyttöliittymällä. Molemmat löytyy täältä.
Melko varmasti ongelmia joidenkin tiedostojen kanssa tulee, tuo transport stream kun voi sisältää käytännössä ihan mitä tahansa ja kaikkiin vaihtoehtoihin ei vain osaa varautua.

Toimiiko tuo ts_polta_teksti myös jos tallenne on useammassa osassa?
Itsellä kun on noita HD-leffoja 2G tiedostoissa. VDR pätkii leffat oletuksena,
jos kokorajaa ei muista muuttaa. 

Miten se nimeää nuo? Ajattelin että voisiko siitä ekasta nimestä päätellä niiden seuraavien pätkien nimen ja tehdä yksinkertaisen skriptin joka yhdistää ne yhteksi tiedostoksi?
Transport streamin liittäminen on todella helppoa:

Koodia: [Valitse]

ffmpeg -i "concat:eka.ts|toka.ts|kolmas.ts"  -map 0:v -map 0:a -map 0:s -c:v copy -c:a copy -c:s copy kokonainen.ts

[Jiku]

Sain nyt PyQt:lla tehtyä jo aika hyvin toimivan käyttöliittymän tuohon tekstitysten valintaan. Ne voi polttaa nyt kuvaan kiinni tai sitten sisällyttää MP4:n "irtoteksteiksi".
Tossa on enemmän: https://www.huoltovalikko.com/threads/hd-tallenteiden-jatkojalostus-linuxilla-etenkin-tekstitykset.13745/page-2#post-174587

Edit: Tällaiselta se näyttää:



Edit2: koodit löytyy tuttuun tapaan githubista

[jarmala]

Hmm, mikähän tässä hangoittaa:

Koodia: [Valitse]

$ ffmpeg -y -i 'Miles Electric.m2t' -filter_complex '[0:v][i:0xc37]overlay' -vcodec libx265 -crf 28 -preset ultrafast -c:a aac -b:a 160k -sn me.mkv

Input #0, mpegts, from 'Miles Electric.m2t':
  Duration: 01:44:30.90, start: 6016.422411, bitrate: 6205 kb/s
  Program 25
    Stream #0:0[0x13a]: Video: h264 (High) ([27][0][0][0] / 0x001B), yuv420p(tv, bt709, top first), 1920x1080 [SAR 1:1 DAR 16:9], 25 fps, 25 tbr, 90k tbn, 50 tbc
    Stream #0:1[0x366](fin): Audio: ac3 (AC-3 / 0x332D4341), 48000 Hz, 5.1(side), fltp, 448 kb/s
    Stream #0:2[0x369](dut): Audio: ac3 (AC-3 / 0x332D4341), 48000 Hz, stereo, fltp, 192 kb/s (visual impaired)
    Stream #0:3[0xc37](fin): Subtitle: dvb_subtitle ([6][0][0][0] / 0x0006)
    Stream #0:4[0xc38](swe): Subtitle: dvb_subtitle ([6][0][0][0] / 0x0006)
    Stream #0:5[0x13ec](fin): Subtitle: dvb_teletext ([6][0][0][0] / 0x0006)
    Stream #0:6[0xc4e](fin): Subtitle: dvb_subtitle ([6][0][0][0] / 0x0006) (hearing impaired)
Stream mapping:
  Stream #0:0 (h264) -> overlay:main (graph 0)
  Stream #0:3 (dvbsub) -> overlay:overlay (graph 0)
  overlay (graph 0) -> Stream #0:0 (libx265)
  Stream #0:1 -> #0:1 (ac3 (native) -> aac (native))

niin lopputuloksena on ziljoona ilmoitusta

Koodia: [Valitse]

[graph 0 input from stream 0:3 @ 0x558c731f8d80] Changing frame properties on the fly is not supported by all filters.
    Last message repeated 2 times
ja ennen pitkää homma kaatuu ja terminaaliin tulee vaan ilmoitus: Tapettu.

Ei vaan heti hiffaa, mistä viasta nyt on kyse...

[Jiku]

Laitoin sulle @jarmala mailia, jos jossain vaiheessa ehdit pätkän lähettämään testattavaksi.
Ilmeisesti Teeman tallenne?  Kokeilin nyt antenni-verkon SD-Teemalla ja Canal Digitalin HD-Teemalla, niin sain sitten ihan uudenlaisen ongelman vastaan.
Yle HD-lähetyksessä teksti-layer on samankokoinen kuin SD-puolella ja se pitää ensin skaalata.

Koodia: [Valitse]

ffmpeg -y -i teema.ts -filter_complex '[i:0x1a18]scale=width=1920:height=1080[sub];[0:v][sub]overlay' -vcodec libx265 -crf 28 -preset ultrafast -c:a aac -b:a 160k -sn ste.mkv
Tää ei kyllä siihen sun ongelmaan auta, mutta tulipa taas uusi ongelma vastaan.. Eli tässä toi 0x1a18 on se kutistunut teksti, jota joutuu ensin vähän kasvattamaan..

[jarmala]

Laitoin sulle @jarmala mailia, jos jossain vaiheessa ehdit pätkän lähettämään testattavaksi.
Ilmeisesti Teeman tallenne? 
Yle HD-lähetyksessä teksti-layer on samankokoinen kuin SD-puolella ja se pitää ensin skaalata.

Juu panenpa tulemaan... Ja Teeman HD -tallenne se on. Tosin sen saa imettyä myös Areenasta, josta se tulee siististi h264:nä ja srt-teksteillä, jotka taipuvat vaikka mihin. Niistä helposti vääntää sen h265:ksi kuvaan poltetuilla teksteillä. Sen jälkeen ei tarvitse kantaa huolta tekstitystiedostojen mukanakulkemisesta...

Ihanko ne tahallaan siellä Ylellä kiusaavat meitä näillä transfer streamien yksityiskohtien jatkuvilla muutoksilla? Minä kuvittelin, että tästä DVB:stä olisi ollut joku standardi, jota olisi noudatettu just, eikä säädettäisi jatkuvasti...