Ohjelma huutonetin hintojen seurantaan?

[tetrafuran]

Minulla on tapana kerätä hieman tilastollista tietoa tuotteen hinnasta ennen ostopäätöksen tekemistä. Toistaiseksi olen tehnyt sen "vanhanaikaisesti", eli kopsinut open officeen huutonetistä onnistuneiden kauppojen tietoja ja laskenut niistä esim. keskiarvon, -hajonnan ja muuta semmoista. Tietojen käsin keräily ja järjestely vain ei ole ihmisen hommaa; vähän niin kuin sudokuiden ratkominen. Tietokone suoriutuisi tästä paljon näppärämmin. Onko jossain jo valmiina ohjelma, joka tuottaisi siistin taulukon tiettyjen kriteerien perusteella?

Toistaiseksi homma on käsin tehtynä mennyt näin:

1) Haetaan halutulla hakusanalla (kuten esim nokia N97) suljetut huutokaupat tietyltä osastolta.
2) Hakutulokset järjestetään huutojen mukaan. Nolla huutoa saaneet eivät tietenkään pääse vertailuun mukaan.
3) Kopioidaan taulukkoon tuotteen nimi, hinta ja huutojen määrä, mikäli hintavaraus on ylittynyt. Hakutuloksissa ylittymättömän hinnat näkyvät harmaana ja ylitetyt mustana. Tällöin siis harmaat rivit hypätään yli ja vain mustalla olevat pääsevät taulukkoon.
4) Mikäli tuotteella on "osta heti" -hinta ja huudettu hinta, valitaan taulukkoon vain huudettu hinta.

Rivejä kertyy helposti useita satoja tuotteesta riippuen, joten selvästikin automaattinen tietojen käsittely (ATK) olisi paikallaan. Käsin kun olen open officeen kopsinut noita rivejä selaimesta, on välillä tullut kaikenlaisia ikäviä ongelmia rivien sekoiluiden ja muiden juttujen kanssa. Tätä olen sitten koettanut kompensoida erilaisten if, and, ja or, kaavojen erilaisten yhdistelmien avulla, jotta sekavasta datasta saisi suodatettua jotain järkevää ja hyödyllistä. Tässä kohtaa tosin koko homman järkevyys alkaa kovasti mietityttämään.

Pitäisi siis löytää ohjelma, joka kopioisi huutonetin hakutulokset kätevästi siistiksi taulukoksi.

[qwertyy]

Eikö tuo hakutulos lajittelu tyssää jo ilmoitusten jättötyyliin tuolla huuto.netissä? Meinaan sehän ihan täynnä kaikkea akkukauppaa ja oikeastaan täysin laitteeseen liittymätöntä roskaakin kaupataan ihmeellisillä nimillä jne.

[tetrafuran]

Riippuu täysin siitä mitä ollaan hakemassa. Tuo kännykkäesimerkki oli keksitty vain tuota viestiä varten. Sitä paitsi vaikka hakutuloksissa olisikin jotain asiaankuulumatonta, voidaan sellaiset suodattaa pois kunhan ensin saisi datan taulukkomuotoon. Haku kohdistuu tämän lisäksi vanhoihin huutokauppoihin, jolloin listalla ei ole miljoonaa kertaa *#*#***akku nokia puhelimeen***#*#*. Sellaiset jäävät sinne "nolla huutoa" -osastolle, joten ne tuskin pääsevät häiritsemään. Kolmanneksi mainittakoon vielä osastokohtainen haku. Sillä olen menestyksekkäästi rajannut paljon epäolennaista roinaa pois. Neljäs pointti olkoon huolellisesti valittu hakusana.

[Regel]

Osan vääristä voisi suodattaa pois, jos tekee hinnalle jonkinlaisen 'outlier'-testin. Esimerkiksi Chauvenet's criterion voisi toimia. Tässä tietenkin oletetaan, että hinnat pyörivät samoissa lukemissa, eikä yksittäisten artikkelien välillä ole merkittäviä eroja.

Kyllähän tuota jonkinlaisen ohjelman varmasti pystyisi tekemään, joka lukisi sivulta nuo hinnat, mutta en kyllä itse jaksaisi ainakaan koodata mokomaa. Valmista tuskin löytyy. Jos itselläsi on kiinnostusta, niin pythonilla (jos ei aiempaa kokemusta koodauksesta) ja REGEXeillä voisit ehkä yrittää lähteä alkuun.

[tetrafuran]

Kiitoksia vinkeistä. Eläessäni olen ohjelmoinut vain laskimelleni matikan kaavoja ja pari hyvin yksinkertaista ohjelmaa basic:lla koulussa. Niin no matlab koodihan on kanssa melkein ohjelmointia...

Taitaa se olla niin, että joko opettelen pyyttonin itse tai hommaan koodaajakaverin. Harmi vain ettei tähän soveltuvaa ohjelmaa löytynyt.

kun kopioin html tekstiä calc ohjelmaan, tulee mukana paljon kaikenlaista turhaa, kuten kuvia. Tämän lisäksi rivit menevät vähän miten sattuu ja harmaat rivit eivät edes pysy harmaina, joten joudun jo kopiointivaiheessa valikoimaan tarkasti mitä kopioin.

Datan voi vastaavasti laittaa unicode tilassa (paste special - unicode), jolloin rivit ovat edelleen hieman sekaisin, mutta kaikki epäoleennainen on pudonnut pois. Tällä tavoin olen tehnyt paljonkin taulukoita esim alkuaineista, planeetoista ja nyt huutonetin hinnoista. Joka kerta dataa on joutunut käsittelemään turhan. Varmaan open office calc osaa myös jotenkin helpottaa tätä tilannetta, mutta vielä ei ole sitäkään tullut vastaan.