Skins.ee arendus

[Külaline PEPZ]

31. Oktoober sai avatud Eestikeelne CSGO skinnide loterii lehekülg. Detsembri alguses sai see suletud MTA poolse kirja tõttu.

Uus aasta, uus projekt selle domeeni alla plaanitud, lisaks plaanib teha asja nüüd lähtudes kohe seadustest.

 

Lisan siia osa progressi mis olen teinud ja mida edaspidi teen.. lähemalt saab uurida foorumist.

[spoiler=09.02.16 kuni 10.02.16]09.02.16

Lisasin bot Steam kasutajatele 2FA külge ja kirjutasin esialgse bot skripti valmis. Boti skript on kirjutatud NodeJS keeles. Jätkan boti kirjutamist

kui PHP backend saab valmis. PHP backendis peab tegema ka API boti jaoks, NodeJS-ga andmebaasi pärimine on üsna ebameeldiv ja näeb välja retsi lahendusena.

10.02.16

Alustasin Skins.ee uue front-endi loomisega, uus kujundus ja user-interface. Hakkas selline asi huvitama nagu http://semantic-ui.com/

Kiirendab kõvasti arengut ja default välimused on ka üsna kenad. Hetkel sai valmis esileht, header, sisu ja footer. Homme tegelen teiste lehtedega.

 

 

11.02.16 ja tänast sissekannet saab lugeda siit: http://lohh.pw/topic/15/arendus-p%C3%A4evik/2

Kes on huvitatud lähemalt millega ma tegelen siis saata mulle email või kirjutada teemasse.

[Külaline PEPZ]

Hakkasin eile arendama Price API-d, et seda realiseerida on mul vaja kõvasti csgo skinnide müümisajalugu ja head viisi kuidas saada hindu. Leidsin ühe endpointi kus on request limit vähe suurem, aga selle pärimine vajab item_nameid parameetrit mida saab kätte ainult listingu htmlist.

 

Täna hakkasin siis 6,500 eseme listing lehti crawlima, et kätte saada nameid ja müügiajalugu. Kuna Steam throttlib requeste siis panin pausid skripti.

~5 tundi on skript jooksnud ja on üle käinud 700 eset ja lisanud müügiajalugu tabelisse 700 000 kirjet. Minu kõige suurem andmebaas, ennustan et skript lõpetab oma töö ~23 tunni pärast ja ajalugu tabelis hakkab ~5-6 miljon kirjet. Feelsgoodman.

 

items - 6 656 rows, size 1,5MiB (millest üle käidud kõigest ~700)
item_histories - 706 889 rows, size 35,6MiB (~700 eseme müügiajalugu)

 

----

 

Woop, asi areneb. Ainuke probleem on praegu see, et need SQL päringud mis selle info tagastavad peavad läbi käima sadu tuhandeid kirjeid ja response time on vähe kõrge. Result on küll cachitud paar tundi aga ei tea kas seda saaksin kiiremaks ka teha mingil moel..

Muudetud 8. märts, 2016 liikme PEPZ'i poolt

[Külaline PEPZ]

4,5k itemit üle käidud, history tabelis on 4mil rida, kogu andmebaas kaalub 200mb

2k itemit on veel vaja crawlida, almost done