yle-dl ongelma

[PERTTIK60]

Kun yritän ladata konelle yle areenasta videoita saan tämän virhe-ilmoituksen.

Koodia: [Valitse]

pertti@pertti-SG3-250SC:~/Videot/ylevideot$ yle-dl https://areena.yle.fi/1-50409253
yle-dl 20181103: Download media files from Yle Areena and Elävä Arkisto
Copyright (C) 2009-2018 Antti Ajanki <antti.ajanki@iki.fi>, license: GPLv3

ERROR: Can't read https://player.yle.fi/api/v1/programs.jsonp?id=1-50409253&callback=yleEmbed.programJsonpCallback
Traceback (most recent call last):
  File "/home/pertti/.local/lib/python3.6/site-packages/urllib3/connection.py", line 159, in _new_conn
    (self._dns_host, self.port), self.timeout, **extra_kw)
  File "/home/pertti/.local/lib/python3.6/site-packages/urllib3/util/connection.py", line 57, in create_connection
    for res in socket.getaddrinfo(host, port, family, socket.SOCK_STREAM):
  File "/usr/lib/python3.6/socket.py", line 745, in getaddrinfo
    for res in _socket.getaddrinfo(host, port, family, type, proto, flags):
socket.gaierror: [Errno -2] Name or service not known

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "/home/pertti/.local/lib/python3.6/site-packages/urllib3/connectionpool.py", line 600, in urlopen
    chunked=chunked)
  File "/home/pertti/.local/lib/python3.6/site-packages/urllib3/connectionpool.py", line 343, in _make_request
    self._validate_conn(conn)
  File "/home/pertti/.local/lib/python3.6/site-packages/urllib3/connectionpool.py", line 839, in _validate_conn
    conn.connect()
  File "/home/pertti/.local/lib/python3.6/site-packages/urllib3/connection.py", line 301, in connect
    conn = self._new_conn()
  File "/home/pertti/.local/lib/python3.6/site-packages/urllib3/connection.py", line 168, in _new_conn
    self, "Failed to establish a new connection: %s" % e)
urllib3.exceptions.NewConnectionError: <urllib3.connection.VerifiedHTTPSConnection object at 0x7f7f5e59b710>: Failed to establish a new connection: [Errno -2] Name or service not known

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "/home/pertti/.local/lib/python3.6/site-packages/requests/adapters.py", line 449, in send
    timeout=timeout
  File "/home/pertti/.local/lib/python3.6/site-packages/urllib3/connectionpool.py", line 667, in urlopen
    **response_kw)
  File "/home/pertti/.local/lib/python3.6/site-packages/urllib3/connectionpool.py", line 667, in urlopen
    **response_kw)
  File "/home/pertti/.local/lib/python3.6/site-packages/urllib3/connectionpool.py", line 667, in urlopen
    **response_kw)
  File "/home/pertti/.local/lib/python3.6/site-packages/urllib3/connectionpool.py", line 638, in urlopen
    _stacktrace=sys.exc_info()[2])
  File "/home/pertti/.local/lib/python3.6/site-packages/urllib3/util/retry.py", line 398, in increment
    raise MaxRetryError(_pool, url, error or ResponseError(cause))
urllib3.exceptions.MaxRetryError: HTTPSConnectionPool(host='player.yle.fi', port=443): Max retries exceeded with url: /api/v1/programs.jsonp?id=1-50409253&callback=yleEmbed.programJsonpCallback (Caused by NewConnectionError('<urllib3.connection.VerifiedHTTPSConnection object at 0x7f7f5e59b710>: Failed to establish a new connection: [Errno -2] Name or service not known',))

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "/home/pertti/.local/lib/python3.6/site-packages/yledl/http.py", line 85, in get
    r = self._session.get(url, headers=headers)
  File "/home/pertti/.local/lib/python3.6/site-packages/requests/sessions.py", line 546, in get
    return self.request('GET', url, **kwargs)
  File "/home/pertti/.local/lib/python3.6/site-packages/requests/sessions.py", line 533, in request
    resp = self.send(prep, **send_kwargs)
  File "/home/pertti/.local/lib/python3.6/site-packages/requests/sessions.py", line 646, in send
    r = adapter.send(request, **kwargs)
  File "/home/pertti/.local/lib/python3.6/site-packages/requests/adapters.py", line 516, in send
    raise ConnectionError(e, request=request)
requests.exceptions.ConnectionError: HTTPSConnectionPool(host='player.yle.fi', port=443): Max retries exceeded with url: /api/v1/programs.jsonp?id=1-50409253&callback=yleEmbed.programJsonpCallback (Caused by NewConnectionError('<urllib3.connection.VerifiedHTTPSConnection object at 0x7f7f5e59b710>: Failed to establish a new connection: [Errno -2] Name or service not known',))
ERROR: Unsupported stream: Media not found

Sama on toistunut jo muutamana päivinä ja olen kokeilut useita eri videoita.
Käyttis on Ubuntu Mate 18.04.4

[jekku]

Kuinkas ajantasainen laturi sinulla on?

Asensin juuri 18.04:ään tuon yle-dl:n ja kokeilin:

Koodia: [Valitse]

~/.local/bin/yle-dl --resolution 360 https://areena.yle.fi/1-50409253 -o testi

Ja hienosti tuli?

Verahan se siinä

[nm]

yle-dl 20181103: Download media files from Yle Areena and Elävä Arkisto

Päivitä viimeisimpään versioon.

Koodia: [Valitse]

pip3 install --user --upgrade yle-dl

[PERTTIK60]

Lainaus NM

Koodia: [Valitse]

[pip3 install --user --upgrade yle-dl/code]

Vastaus
[code]pertti@pertti-SG3-250SC:~$ pip3 install --user --upgrade yle-dl

Komentoa 'pip3' ei löytynyt, mutta se on asennettavissa seuraavasti:

sudo apt install python3-pip

pertti@pertti-SG3-250SC:~$ sudo apt install python3-pip
Luetaan pakettiluetteloita... Valmis
Muodostetaan riippuvuussuhteiden puu       
Luetaan tilatiedot... Valmis       
python3-pip on jo uusimmassa versiossa (9.0.1-2.3~ubuntu1.18.04.1).
0 päivitetty, 0 uutta asennusta, 0 poistettavaa ja 38 päivittämätöntäEi siis ratkenut tällä.

[PERTTIK60]

Yritin vielä tällä komenolla,

Koodia: [Valitse]

sudo pip install --upgrade yle-dlsain seuraavan vastauksen

Koodia: [Valitse]

ertti@pertti-SG3-250SC:~$ sudo pip install --upgrade yle-dl
[sudo] salasana henkilölle pertti:
Yritä uudelleen.
[sudo] salasana henkilölle pertti:
DEPRECATION: Python 2.7 reached the end of its life on January 1st, 2020. Please upgrade your Python as Python 2.7 is no longer maintained. A future version of pip will drop support for Python 2.7. More details about Python 2 support in pip, can be found at https://pip.pypa.io/en/latest/development/release-process/#python-2-support
WARNING: The directory '/home/pertti/.cache/pip' or its parent directory is not owned or is not writable by the current user. The cache has been disabled. Check the permissions and owner of that directory. If executing pip with sudo, you may want sudo's -H flag.
Requirement already up-to-date: yle-dl in /usr/local/lib/python2.7/dist-packages (20200628)
Requirement already satisfied, skipping upgrade: requests in /usr/lib/python2.7/dist-packages (from yle-dl) (2.18.4)
Requirement already satisfied, skipping upgrade: mini-amf in /usr/local/lib/python2.7/dist-packages (from yle-dl) (0.9.1)
Requirement already satisfied, skipping upgrade: lxml in /usr/lib/python2.7/dist-packages (from yle-dl) (4.2.1)
Requirement already satisfied, skipping upgrade: attrs>=18.1.0 in /usr/local/lib/python2.7/dist-packages (from yle-dl) (19.3.0)
Requirement already satisfied, skipping upgrade: ConfigArgParse>=0.13.0 in /usr/local/lib/python2.7/dist-packages (from yle-dl) (1.2.3)
Requirement already satisfied, skipping upgrade: future in /usr/local/lib/python2.7/dist-packages (from yle-dl) (0.18.2)
Requirement already satisfied, skipping upgrade: six in /usr/lib/python2.7/dist-packages (from mini-amf->yle-dl) (1.11.0)
Requirement already satisfied, skipping upgrade: defusedxml in /usr/lib/python2.7/dist-packages (from mini-amf->yle-dl) (0.5.0)
WARNING: You are using pip version 20.0.2; however, version 20.1.1 is available.
You should consider upgrading via the '/usr/bin/python -m pip install --upgrade pip' command.

[juyli]

Yle-dl asentuu (vipu asennuksessa -user) käyttäjän kotihakemistoon .local/bin/yle-dl, josta ko. ohjelman voi käynnistää.
Jotkin aiemmat versiot taas yhä löytyvät hakemistosta /usr/bin/yle-dl, joka ei siis toimi
Jokin uudempi yle-dl -versio voisi olla mallia yle-dl 20200618: Download media files from Yle Areena and Elävä Arkisto

[jekku]

Yritin vielä tällä komenolla,

Koodia: [Valitse]

sudo pip install --upgrade yle-dlsain seuraavan vastauksen

Koodia: [Valitse]

ertti@pertti-SG3-250SC:~$ sudo pip install --upgrade yle-dl
[sudo] salasana henkilölle pertti:
Yritä uudelleen.
[sudo] salasana henkilölle pertti:
DEPRECATION: Python 2.7 reached the end of its life on January 1st, 2020. Please upgrade your Python as Python 2.7 is no longer maintained. A future version of pip will drop support for Python 2.7. More details about Python 2 support in pip, can be found .
(osa poistettu)
WARNING: You are using pip version 20.0.2; however, version 20.1.1 is available.
You should consider upgrading via the '/usr/bin/python -m pip install --upgrade pip' command.

No päivititkö pip:n?
Kun asensin omaan 18.04.:ään, ei ollut mitään pohjana,
Joten piti asentaa pip3,
olikohan muotoa

Koodia: [Valitse]

sudo apt install python3-pip

Ja kun lunttasin,
https://aajanki.github.io/yle-dl/
niin siellä on ohje:

Koodia: [Valitse]

pip3 install --user --upgrade yle-dl


[nm]

Joo, poista vanha Python 2.7:llä asennettu yle-dl ja asenna sitten uudelleen pip3:lla:

Koodia: [Valitse]

pip uninstall yle-dl

Koodia: [Valitse]

sudo apt install python3-pip

Koodia: [Valitse]

pip3 install --user --upgrade yle-dl

[PERTTIK60]

Kun yritän poistaa vanahan yle-dl saan tämän virheilmoituksen

Koodia: [Valitse]

DEPRECATION: Python 2.7 reached the end of its life on January 1st, 2020. Please upgrade your Python as Python 2.7 is no longer maintained. pip 21.0 will drop support for Python 2.7 in January 2021. More details about Python 2 support in pip, can be found at https://pip.pypa.io/en/latest/development/release-process/#python-2-support
Found existing installation: yle-dl 20200628
Uninstalling yle-dl-20200628:
  Would remove:
    /usr/local/bin/yle-dl
    /usr/local/lib/python2.7/dist-packages/yle_dl-20200628.dist-info/*
    /usr/local/lib/python2.7/dist-packages/yledl/*
Proceed (y/n)? y
ERROR: Exception:
Traceback (most recent call last):
  File "/home/pertti/.local/lib/python2.7/site-packages/pip/_internal/cli/base_command.py", line 188, in _main
    status = self.run(options, args)
  File "/home/pertti/.local/lib/python2.7/site-packages/pip/_internal/commands/uninstall.py", line 86, in run
    auto_confirm=options.yes, verbose=self.verbosity > 0,
  File "/home/pertti/.local/lib/python2.7/site-packages/pip/_internal/req/req_install.py", line 676, in uninstall
    uninstalled_pathset.remove(auto_confirm, verbose)
  File "/home/pertti/.local/lib/python2.7/site-packages/pip/_internal/req/req_uninstall.py", line 394, in remove
    moved.stash(path)
  File "/home/pertti/.local/lib/python2.7/site-packages/pip/_internal/req/req_uninstall.py", line 283, in stash
    renames(path, new_path)
  File "/home/pertti/.local/lib/python2.7/site-packages/pip/_internal/utils/misc.py", line 349, in renames
    shutil.move(old, new)
  File "/usr/lib/python2.7/shutil.py", line 326, in move
    os.unlink(src)
OSError: [Errno 13] Lupa evätty: '/usr/local/bin/yle-dl'Eli onko niin, että mulla ei ole oikeuksia poitaa tuota vanhaa yle-dl sovellusta

[nm]

Sinulla on näemmä ollut yle-dl asennettuna sekä paikallisesti oman käyttäjätunnuksesi alle että järjestelmätasolle /usr/local-hakemistoon. Tuo jälkimmäinen on uusin versio 20200628, joten silläkin latausten pitäisi nyt onnistua.

Jos ei kuitenkaan toimi tai haluat muuten vaihtaa Python 3:lla toimivaan versioon, poista tuo /usr/localiin asennettu versio sudottamalla:

Koodia: [Valitse]

sudo pip uninstall yle-dl

[PERTTIK60]

Sinulla on näemmä ollut yle-dl asennettuna sekä paikallisesti oman käyttäjätunnuksesi alle että järjestelmätasolle /usr/local-hakemistoon. Tuo jälkimmäinen on uusin versio 20200628, joten silläkin latausten pitäisi nyt onnistua.

Jos ei kuitenkaan toimi tai haluat muuten vaihtaa Python 3:lla toimivaan versioon, poista tuo /usr/localiin asennettu versio sudottamalla:

Koodia: [Valitse]

sudo pip uninstall yle-dl

Tätä vähän epäilin syyksi, muistin vasta että minulla oli varmaan joskun aikaisemmin sama ongelma. Kiitos taas avusta 

[jarmala]

Koodia: [Valitse]

pip3 install --user --upgrade yle-dl

Mihin tuo yle-dl asentuu? Ja millä komennolla sen saa ajetuksi?

Hups! Löysinkin sen jo: ~/.local/bin/yle-dl
Tuuppaan sen aliakseksi...

[nm]

Koodia: [Valitse]

pip3 install --user --upgrade yle-dl

Mihin tuo yle-dl asentuu? Ja millä komennolla sen saa ajetuksi?

Hups! Löysinkin sen jo: ~/.local/bin/yle-dl
Tuuppaan sen aliakseksi...

Periaatteessa ~/.local/bin-hakemiston pitäisi olla PATHissa, jolloin siellä sijaitsevat ohjelmat toimivat komentorivillä suoraan. Bash-komentotulkin tapauksessa asetus sijaitsee tiedostossa ~/.profile, joka on luotu kopioimalla /etc/skel/.profile -tiedosto käyttäjän kotihakemistoon käyttäjätunnuksen luonnin yhteydessä. Jos kotihakemistosi periytyy jostain vanhasta jakeluversiosta, jossa ei vielä ollut tätä lisäystä polkuun, voit lisätä sen itse ~/.profile-tiedostoon. Tässä tarvittavat rivit:

Koodia: [Valitse]

# set PATH so it includes user's private bin if it exists
if [ -d "$HOME/.local/bin" ] ; then
    PATH="$HOME/.local/bin:$PATH"
fi

[jarmala]

Koodia: [Valitse]

pip3 install --user --upgrade yle-dl

Tämä on muuten hyvä, mutta se tallentaa lataukset mkv-tiedostoihin ja niissä on ongelmana, että tekstitys on subrip -muodossa. Se ei näy tv-boksissani - näkyy aluksi hetken, mutta katoaa sitten. Vanha yle-dl -versio latasi erillisen srt-tiedoston mp4-videon mukaan, josta sai helposti tehtyä juuri sellaiset tekstitykset kuin halusi ja mikä merkittävintä, sellaiset, jotka toimivat ja näkyivät käytämilläni laitteilla. Nämä uudet mkv-tiedostojen subrip-tekstitykset eivät näy tv-boksillani.

Kysymys: miten poltan subrip-tekstitykset kuvaan kiinni? Tai vaihtoehtoisesti

Miten komennan uuden yle-dl:n lataamaan tekstitykset srt-muodossa? Tai edes dvb-subtitlena.

Jatkuvasti saa olla tappelemassa näiden mukamas modernien tekstityssysteemien kanssa - miksi niitä ei voida polttaa kuvaan kiinni tai miksi niitä ei voi jakaa silkkana srt-tekstinä, joka on oikeasti tekstiä ja sen takia helppokäyttöistä?
 

[nm]

Tämä on muuten hyvä, mutta se tallentaa lataukset mkv-tiedostoihin ja niissä on ongelmana, että tekstitys on subrip -muodossa. Se ei näy tv-boksissani - näkyy aluksi hetken, mutta katoaa sitten. Vanha yle-dl -versio latasi erillisen srt-tiedoston mp4-videon mukaan, josta sai helposti tehtyä juuri sellaiset tekstitykset kuin halusi ja mikä merkittävintä, sellaiset, jotka toimivat ja näkyivät käytämilläni laitteilla. Nämä uudet mkv-tiedostojen subrip-tekstitykset eivät näy tv-boksillani.

Kysymys: miten poltan subrip-tekstitykset kuvaan kiinni? Tai vaihtoehtoisesti

Miten komennan uuden yle-dl:n lataamaan tekstitykset srt-muodossa? Tai edes dvb-subtitlena.

SubRip Text = SRT. Katso: https://en.wikipedia.org/wiki/SubRip#File_format

Jos soittimesi ei tue MKV:n SRT-tekstityksiä kunnolla, voit muuntaa säiliön MP4:ksi ja kopioida tekstit erilliseen tiedostoon:

Koodia: [Valitse]

ffmpeg -i tallenne.mkv -c:v copy -c:a copy tallenne.mp4
ffmpeg -i tallenne.mkv -f srt tallenne.srt
Tai voit ladata suoraan MP4-muodossa. Tällöin ffmpeg tallentaa tekstin MPEG-4/3GPP Timed Text -muodossa MP4-tiedoston sisään. MP4 ei muistaakseni tue ainakaan virallisesti muita tekstipohjaisia tekstitysformaatteja.

Koodia: [Valitse]

yle-dl --preferformat mp4 https://areena.yle.fi/1-1195084

Jatkuvasti saa olla tappelemassa näiden mukamas modernien tekstityssysteemien kanssa - miksi niitä ei voida polttaa kuvaan kiinni

Koska silloin video pitäisi pakata ja tallentaa erikseen jokaiselle tekstityskielelle. Lisäksi poltettu tekstitys heikentää jonkin verran videopakkauksen tehoa, koska se sotkee liike-estimointia. Eli samalla bitratella tulee poltetuilla teksteillä huonompaa laatua. Plus monet muut syyt liittyen tekstityksen kokoon ja fonttiin erilaisilla näytöillä, ja haluaako katsoja edes nähdä tekstitystä. Esimerkiksi tv-kanava Nelosen kuvaan poltettu teksti on harvinaisen ärsyttävä isolla kankaalla projektorilla katsottuna.

tai miksi niitä ei voi jakaa silkkana srt-tekstinä, joka on oikeasti tekstiä ja sen takia helppokäyttöistä?

Areenan tekstitykset ovat aina olleet ja ovat edelleen tekstimuotoisia. En ole varma onko streamausformaatti teknisesti SRT:tä vai jotain muuta, mutta tekstimuotoista se ainakin on.

[jarmala]

Koodia: [Valitse]

ffmpeg -i tallenne.mkv -f srt tallenne.srt

Kiitos. Tämä auttaa saamaan tekstityksen helppoon srt-muotoon. Mutta: kaikissa Areenasta lataamissani mkv-muotoisissa videoissa (Poirotteja...) tekstitys loppuu viiden minuutin kohdalla:

Koodia: [Valitse]

ffmpeg -i Hercule\ Poirot\:\ Vuoksi\ ja\ luode-2020-06-26T06\:00.mkv -f srt vuo.srt
.....
Stream mapping:
  Stream #0:0 -> #0:0 (subrip (srt) -> subrip (srt))
Press [q] to stop, [?] for help
size=       5kB time=00:04:55.81 bitrate=   0.1kbits/s speed=  51x   
video:0kB audio:0kB subtitle:3kB other streams:0kB global headers:0kB muxing overhead: 70.535072%

Kenelläkään muulla samaa ongelmaa?

[nm]

Kiitos. Tämä auttaa saamaan tekstityksen helppoon srt-muotoon. Mutta: kaikissa Areenasta lataamissani mkv-muotoisissa videoissa (Poirotteja...) tekstitys loppuu viiden minuutin kohdalla:

Päivitä ffmpeg tuoreempaan versioon ja lataa videot uudelleen. Tämän jälkeen oletettavasti toimii suoraan myös siinä tv-boksissa, kun tekstitykset ovat oikeasti olemassa tallenteessa. 

https://github.com/aajanki/yle-dl#known-problems

Problem: Subtitles are visible only for the first five minutes.

Solution: Update your ffmpeg to version 4.1 or later.

[jarmala]

Problem: Subtitles are visible only for the first five minutes.

Solution: Update your ffmpeg to version 4.1 or later.

Käytössä Ubuntu 18.04, johon tarjolla on vain ffmpegin versio 3.4.6 ja juuri se on käytössä. Eh? Joten siis mitä?

[nm]

Käytössä Ubuntu 18.04, johon tarjolla on vain ffmpegin versio 3.4.6 ja juuri se on käytössä. Eh? Joten siis mitä?

Korvaa vaikka staattisesti käännetyllä versiolla: https://johnvansickle.com/ffmpeg/

Nuo ovat luotettavia binäärejä, tai ainakin niihin viitataan FFmpegin sivustolla.

[jarmala]

Korvaa vaikka staattisesti käännetyllä versiolla: https://johnvansickle.com/ffmpeg/

Näin tein, mutta eipä tunnu auttavan:

Koodia: [Valitse]

ari@ari:~/avi$ ~/Lataukset/ffmpeg-git-20200617-amd64-static/ffmpeg -i Hercule\ Poirot\:\ Vuoksi\ ja\ luode-2020-06-26T06\:00.mkv -f srt vuo.srt
ffmpeg version N-53260-ga37109d555-static https://johnvansickle.com/ffmpeg/  Copyright (c) 2000-2020 the FFmpeg developers
  built with gcc 8 (Debian 8.3.0-6)

Output #0, srt, to 'vuo.srt':
Stream mapping:
  Stream #0:0 -> #0:0 (subrip (srt) -> subrip (srt))
Press [q] to stop, [?] for help
size=       5kB time=00:04:55.81 bitrate=   0.1kbits/s speed=19.7x   
video:0kB audio:0kB subtitle:3kB other streams:0kB global headers:0kB muxing overhead: 70.535072%

Edelleenkin tuuppaa vain viisi minuuttia tekstitystä... Alkaa jo tuntua epätoivoiselta B-(