Viestit

21

Yleistä keskustelua / Vs: Mistä avoimia csv-tiedostojen lähteitä ?

« : 06.04.23 - klo:07.29 »

Tartteisin suurehkoja csv-tiedostoja.

Tällä hetkellä omani csv-tiedoston maksimikoko on n. 1 Gt ja vajaa 6000000-riviä, mutta haluaisin testata suuremmalla tiedostolla. Mistähän sellaisia löytäisi ?

En haluaisin teennäisesti kasvattaa tiedoston kokoa kopioimalla tiedostoja yhteen, jolloin siis tiedoston kooksi saisin kaksinkertaisen.

Mitä tarkalleen ottaen ole testaamassa? Eikö sillä siis ole mitän merkitystä montako kenttää per rivi on tieto CSV rivissä ?

No, jos kenttien määrä alkaa ylitellä yli 50:n, niin ohjelmani alkaa olla ongelmissa. Sen lisäksi toivoisin, että jokaisessa rivissä olisi sama määrä delimetereitä (erottimia/sarkaimia).

Tosin nyt näyttää siltä, että koodini on varsin etana, kun tuota 1 Gt:n csv-tiedostoa on rouskuttanut yli 1000 minuuttia, joten en taida viitsiä laittaa rouskuttamaan tämän suuremmilla tiedostoilla eli optimointia tarvitaan.

Pistä koodit näkyviin niin tutkitaan missä mahdollisesti kestää ja miten voi parantaa..

22

Yleistä keskustelua / Vs: Mistä avoimia csv-tiedostojen lähteitä ?

« : 05.04.23 - klo:08.31 »

Tartteisin suurehkoja csv-tiedostoja.

Tällä hetkellä omani csv-tiedoston maksimikoko on n. 1 Gt ja vajaa 6000000-riviä, mutta haluaisin testata suuremmalla tiedostolla. Mistähän sellaisia löytäisi ?

En haluaisin teennäisesti kasvattaa tiedoston kokoa kopioimalla tiedostoja yhteen, jolloin siis tiedoston kooksi saisin kaksinkertaisen.

Mitä tarkalleen ottaen ole testaamassa? Eikö sillä siis ole mitän merkitystä montako kenttää per rivi on tieto CSV rivissä ?

23

Yleistä keskustelua / Vs: Kokemuksia kevytyrittäjänä ohjelmistokonsulttina rekrytoivista firmoista?

« : 30.03.23 - klo:07.52 »

Ohjelmistoprojekteissa on yleistä että isommat kokonaisuudet kilpailutetaan ja puitesopimus "myydään" parhaan
tarjouksen tekijälle. Näiden sopimusten arvot voivat olla useita miljoonia euroja ja projekteissa voidaan hakea
kokonaisia tiimejä toteuttamaan useiden vuosien ajan jaksolle isoja kokonaisuuksia.

Koska yhden miehen firmoilla ei useinkaan ole resursseja tarjota ja ostaa miljoonien (tai kymmienien miljoonien)
arvoisia projekteja itselleen käy niin että isot toimijat (Tieto, Digia, jne..) voittavat nämä kilpailutukset.

Nämä isot toimijat käyttävät sitten joko omia varsinaisia palkkalistoillaa olevia työntekijöitä projektien toteutukseen.
Jos resursseja ei omasta talosta löydy käytetään ulkoista työvoimaa eli noita konsultteja joista Jere mainitsi.

Kun tällaista ulkoistusta käytetään niin luonnollisesti tehdään toimeksiantosopimus konsultin ja konsultin työtä käyttävän
firman välille. Tämä vastaa pääsääntöisesti "normaalia" työsopimusta ja tällainen sopimus luonnollisestikkin pitää aina olla.
Jos ei ole niin tekee ns. pimeää työtä.

Se miten tällaiseen sopimukseen pääsee yksittäinen ohjelmistokehittäjä. Siihen pätee samat säännöt kuin hakisi normaalia
ohjelmistoalan työpaikkaa. Loppu asiakas jolle projektia tehdään on luonnollisesti kiinnostunut siitä että projektiin haettu
konsultti on pätevä siihen rooliin johon häntä ollaan hakemassa. Tämän varmistamiseksi lähes aina järjestetään konsultille
haastattelu jossa "tarkistetaan" esim. tekninen osaaminen tietyn kooditekniikan hallitsemiseen jota tarvitaan projektin suorittamiseen.

Oleellista siis projektiin pääsemisellä on se että hakija osaa sen mitä haetussa roolissa vaaditaan ja tämä asia ei mitenkään eroa
onko rooliin hakemassa kevyt yrittäjänä/yrittäjänä tai varsinaiseksi työntekijäksi projektin omistavaan firmaan.

On myös olemassa junior/harjottelija rooleja projekteihin joissa nimensä mukaisesti haetut vaatimukset kandidaateilta ei ole niin kovat
kuin jos haetaan senior osaajan tittelillä.

24

Muut käyttöjärjestelmät ja Linux-jakelut / Vs: Raspberry Pi 3 + Serveri OS? ja -yrityskäyttö -soveltuvuus?

« : 11.03.23 - klo:07.02 »

Tämä nyt oma liikeideani ei ole verkkoisäntäpalvelut, eikä affimainontaan perustuva verkkosivu, vaan päivänvalon kestävällä ansaintalogiikalla oleva korkean moraalin televiestintä/Internet - palvelut -kategoriaan kaupparekisterissä menevä, eikä liity kävijälaskurin eikä tuohon varashälyttimeen mitenkään.

Tämä kuulostaa jo niin vakuuttavalta kun oikein päivänvalonkin kestää että taatusti tulisi siitä Leijonan luola ohjelmasta varmat sijoitusrahat 

25

Ohjelmointi, palvelimet ja muu edistyneempi käyttö / Vs: php scriptin kutsuminen Androidista Ajaxilla

« : 10.02.23 - klo:08.14 »

Katso sen android kielen/frameworkin ohjeista miten kuuluu tehdä http-request.

26

Vaihtoehtoiset työpöytäympäristöt / Vs: Komentorivi-linux

« : 09.02.23 - klo:07.31 »

Joitain kuitenkin on olemassa, kuten perinteiset Lynx, (E)Links ja w3m. Useimmat niistä eivät tosin osaa JavaScriptiä, joka on lähes välttämätön nykyisessä webissä. Browsh pystyy siihenkin, koska se toimii tekstikäyttöliittymänä Firefoxille. Resurssivaatimukset ovat toki sitten eri tasolla kuin vaikkapa Lynxissä, ja vanhasta koneesta voi loppua muisti kesken samaan tapaan kuin graafista Firefoxia käyttäessä.

Juuri julkaistiin uusi Chromium engineä käyttävä tekstipohjainen selain:

https://github.com/fathyb/carbonyl

27

Vaihtoehtoiset työpöytäympäristöt / Vs: Komentorivi-linux

« : 08.02.23 - klo:21.58 »

Enemmänkin haluan koneen, jossa komentoriviä ei voi kiertää millään graafisella ohjelmalla. Ikään kuin vaihtoehto itsekurille.

Kuten sanottu, saman tuloksen saa aikaiseksi kun asettaa niin että graafinen käyttöliittymä ei käynnisty bootissa ollenkaan.

28

Vaihtoehtoiset työpöytäympäristöt / Vs: Komentorivi-linux

« : 08.02.23 - klo:14.55 »

Eikö riitä että säädät sen niin että graafinen käyttöliittymä ei käynnisty ollenkaan?

29

Ohjelmointi, palvelimet ja muu edistyneempi käyttö / Vs: dy.fi -palvelun käyttö

« : 06.02.23 - klo:09.02 »

Mutta miksi päivitykseen tarvitaan soketteja, kun päivitystahdin on kuitenkin oltava vuorokautta hitaampi ja viikko on ihan sopiva sekin. Mitä haittapuolia olisi, jos päivityspyyntö lähetettäisiin vain tavallisen html-sivun kautta.

Johtunee siitä että kaikki nettiliikenne kulkee sokettien kautta linuxissa.

30

Ohjelmointi, palvelimet ja muu edistyneempi käyttö / Vs: dy.fi -palvelun käyttö

« : 05.02.23 - klo:11.38 »

Missä olisi harrastelijatasoiselle käyttäjälle sopiva opas dy.fi -palvelun käyttämiseen. En koskaan ole ymmärtänyt, mitä koneella pitää suorittaa, että dy.fi -domainit pysyvät käytössä. Mitä se noin viikon välein ajettava ohjelma tekee ja voiko sen toteuttaa millä kielellä vain.

Täällähän se on kerrottu:

https://www.dy.fi/page/clients

dy.fi -sivulla voi ilmeisesti varata haluamiaan domainnimiä ja siitä ehkä selviää yrityksen ja voinee selvitä erehdyksen kautta.

Sivujen uudelleenohjauksen voi tehdä html/javascriptillä tai php:llä, mutta miten se tehdäään dy.fi-palvelun kaltaisissa paikoissa. Oletus on, että siellä se tehdään tehokkaammin ja näppärämmin.

Pointtihan tässä on se että nimipalvelussa (DNS) on osoite jolla pääsee suoraan (koti)palvelimeesi ilman koodissa tehyjä uudelleenohjauksia.

31

Ohjelmointi, palvelimet ja muu edistyneempi käyttö / Vs: Gittiä kanssa - eli mikä paras tapa käyttää Githubia?

« : 03.02.23 - klo:10.24 »

GIT tuntui turhan massiiviselta ratkaisulta omaan käyttööni, joten kirjoitin oman scriptin, jolla saan vanhat versiot talteen.
Täyttää minun tarpeeni.

Tämähän on siis täysin eri asia mitä GIT tekee. Lähdekoodin kanssa oleellista on nähdä muutokset eri versioiden välissä
ja myös että mihin tahansa aikasempaan versioon pääsee helposti käsiksi.

32

Ohjelmointi, palvelimet ja muu edistyneempi käyttö / Vs: Gittiä kanssa - eli mikä paras tapa käyttää Githubia?

« : 03.02.23 - klo:10.22 »

Tuota versionhallintaa tässä koitan kovasti opiskella, mutta huonolla menestyksellä. Aivoni on säädetty eri logiikkaan. Mutta siitä huolimatta joku git:n perustaito pitää tässä hankkia.

Miten te käytätte gittiä tai githubia? Mikä on tuossa helpoin? Asentaa joku plugin IDE:lle, graafinen git-ohjelma vai ihan komentoriviltä?

Erityisen ilahduttavaa olisi, jos joku osaisi suositella hyvää tapaa/pluginia Gitin käyttöön Geanyn kanssa. Tarve toistaiseksi enemmän paikallinen (itsenäinen ohjelmointi) kuin githubin käyttö.

Perusjutut on hyvä ymmärtää ensin komentorivin kautta. Sitten kun ne hallussa on paljon helpompi käyttää IDE plugineita kun oikeasti tietää mitä mikäkin toiminto tekee

33

Ohjelmointi, palvelimet ja muu edistyneempi käyttö / Vs: [ ratkaistu ] Versiopäivitys pilvikoneella ssh:n kautta, ei suositella?

« : 05.01.23 - klo:09.19 »

Hetzner pilvikoneesta (kuten muistakin vastaavista) pystyy ottamaan snapshot ja palauttamaan myöhemmin tähän tilaan. Tämä oivallisen hyvä juuri päivitys kokeiluun.

34

Yleistä keskustelua / Vs: Open AI - Chat Gpt -botti

« : 21.12.22 - klo:11.52 »

ChatBotin todellinen tarkoitus paljastunut!

35

Yleistä keskustelua / Vs: Raspberry Pi 400 vs. Ryzen 7 (1700) !

« : 21.12.22 - klo:10.41 »

Raspi korteille saatavilla ihan "normaali" Ubuntukin jos haluaa pitäytyä tutussa ja turvallisessa.

36

Yleistä keskustelua / Vs: mysql kyselyn järjestys[Ratkaistu]

« : 03.12.22 - klo:20.50 »

Hyvä että onnistui.

Mutta kannattaa muistaa, että kun kyse on vain tulosten järjestämisestä, ei sillä ole suurta merkitystä tekeekö sen haussa vai koodissa. Likimain sama määrä dataa liikkuu tietokannan ja ohjelman välillä.

Sillä on suurikin merkitys tehdäänkö järjestäminen yksi vai kaksi kertaa.

37

Ohjelmointi, palvelimet ja muu edistyneempi käyttö / Vs: Kuinka muuttaa C++ ohjelmisto Pythonille?

« : 02.12.22 - klo:07.54 »

Tässä yhden avoimen lähdekoodin ohjelman kehittäjäyhteisö alkanut miettiä ohjelmankehittämisen tehostamista. Ohjelmisto on koodattu C++:lla ja siinä käytetään aika paljon Qt::tä. Ohjelman käyttämä omaperäinen tietokantamuotokin on ollut keskustelun alla. On ollut tarpeita tehdä siitä loogisempi ja helpommin hallittava. Ohjelmointikieliä on ollut esillä Java, Python, Ruby, Go ja sitten on voinut ehdottaa itse jotain kieltä.

Onko vinkkejä, miten avoimen lähdekoodin projektin voisi portata C++:sta Pythoniin? Ohjelma on monikielinen, joten ensimmäisenä on tullut kysymys, miten Pythonilla voi koodata monikielisyyden (Internationalization, Localization). Pythonilla tietääkseni voi kutsua myös C++ -moduuleita, jos on jotain kriittisiä koodinpätkiä.

Aluksi kannattaa tutkia sitä onko vastaavaa ohjelmistoa jo mahdollisesti tehty toisella ohjelmointikielellä. Siis ellei välttämättä halua keksiä pyörää uudestaan alusta asti.

38

Ohjelmointi, palvelimet ja muu edistyneempi käyttö / Vs: Noip2 ongelma

« : 27.09.22 - klo:07.18 »

Ongelma on serverillä jolla dynaaminen ip-osoite. Normaalikäytössä homma toimii mutta sähkökatkon jälkeen noip2 ei käynnistykään.

Käsittääkseni ongelma on siinä että routeri nousee sähkökatkon jälkeen takaisin ylös hitaammin kuin serveri joten noip2 ei saa osoitetta bootissa ja jää sen takia käynnistymättä.

Jonkunlainen kilke crontabiin joka tarkistaa jos noip2 ei ole käynnissä niin käynnistää sen?  Jotain muuta? Kiitollisena otertaan vastaan ehdotuksia tilanteen korjaamiseksi?

Asetuksiin voi laittaa "update interval in minutes" päivitys välin minuuteissa. Jos tämän laittaa pieneksi niin se on yksi ratkaisu. Toisaalta silloin voi turhaan
päivittää liian tiheästi.

39

Ohjelmointi, palvelimet ja muu edistyneempi käyttö / Vs: nextcloud palvelin {ratkaistu]

« : 24.09.22 - klo:12.23 »

Hezner saa tilattua palvelimia joissa nextcloud on valmiiksi asennettu:

https://docs.hetzner.com/cloud/apps/list/nextcloud/

40

Ohjelmointi, palvelimet ja muu edistyneempi käyttö / Vs: nextcloud palvelin

« : 22.09.22 - klo:08.57 »

Sen voi asentaa aika monella tapaa: docker / snap / "vanilla" ... Itsellä asennettu jälkimmäisellä eli ilman snap tai docker containereita:

https://gist.github.com/MarGraz/3b15d318954acbaed0d61eb89c9d334d

Sekin saattaa vaikuttaa asiaan mihin ubuntu  versioon on sitä asentamassa, tuossa linkin ohjeessa se tehdään 20.04 versioon.