SteamApis.com

[Külaline PEPZ]

CSGOLyzer projektiga sain head tagasisidet mis puudutas teisi Steam Market mänge ja siis avastasin, et ükski teine lehekülg ei kogu terves Steam Marketis olevaid esemeid. Keskendutakse paarile kindlale mängule nt Dota 2, TF2 ja CS:GO.

 

Küll on aga kõvasti teisi mänge kus on erinevaid esemeid, seega otsustasin käsile võtta projekti kus ma pean koguma üle 130000 eseme hinnainfot ja ajalugu. Seoses sellega sulgen CSGOLyzer lehe ja avan SteamApis.com, et ma saaks keskenduda ainult ühele lehele, mis teeb kõike.

 

Eelvaade leheküljest:

 

Hetkeseisuga on mul andmebaasis 136,063 market itemit ja 3,744 erinevat mängu kuhu alla need kuuluvad. Andmebaas on ~2GB suur.

Vahetasin MySQL välja MongoDB vastu, et ma ei peaks skeemidega pead vaevama kui Steam otsustab midagi lisada/eemaldada või muuta.

 

Selleks, et ma saaksin koguda Steamist kõigi nende esemete infot on mul tellitud IP Rotation teenus kus on saadaval üle 15,000 proxit. See annab mulle võimaluse koguda infot kiiresti ja effektiivselt. Tänu nendele proxidele on mulle tulnud juurde paar teist ideed mis aitaks inimesi kohe kindlasti Steamiga seotud lehekülgede arendamisega. (Steam limiteerib requeste 30/min päris paljudele lehekülgedele [inventory, market])

 

CSGOLyzerist on välja arenenud päris suur ja lahe projekt mis on mulle väljakutseks kuna ma pole varem nii suure andmebaasiga tegelenud ja nõnda palju web-scrapemist teinud.

 

Kuna minu web-scraperid võivad võtta kuni 6GB RAM-i each siis pidin tellima ka vähe võimsama serveri projekti jaoks. Eelmine projekt oli 2 gigase VPS-i peal, uus leht hakkab aga selle eluka peab elama https://www.soyoustart.com/ie/offers/e3-ssd-5.xml

 

 

Projekt kasutab:

- Laravel 5.2

- MongoDB

- NodeJS (peamiselt data kraapimiseks)

- HTML; CSS; JS (Bootstrap 3)

- IP Rotation teenus nagu nt: Luminati.io

 

Mis on teie arvamused ja ettepanekud? Praegu on parim aeg nõuda lehele asju mida ise kasutaksite.

[Külaline PEPZ]

Kuna vahepeal tuli ette ajateenistus siis jäi projekt seisma, nüüd kuis olen vaba jälle siis väike uuendus.

 

Steam esemeid andmebaasis: 180216

 

Backend uuendused

• Vahetasin tasulise proxy rotation teenuse välja enda ehitatud süsteemi vastu.
  


1. Kraabin netis olevaid proxy liste
   
2. Kontrollin need üle, stabiilsed lisan pooli
   
3. Poolis olevaid proxisid saan kasutada kahel meetodil
   
   1. Web API - "http://proxy.pepzwee.com/?url=http://steamcommunity.com"
      
   2. Redis Pub/Sub - Vältimaks mõttetuid requeste ise-endale saan teha ka proxitud requeste läbi Redise pub/subi.
      

    

   [*]Profit? Enam ma ei pea maksma ~40€ kuu, et saada 15k proxit ja rotation teenust.

   [*]Proxisid mida kontrollib iga 15min tagant on ligikaudu 100k ja kontroll võtab aega kõigest paar minutit. Loomulikult on rotationis ka paar halba õuna, aga pole raske teha paar filtrit, et kontrollida tagastatud vastuseid ja teha re-requeste.

    

   [*]Kirjutasin suurema osa steami scraperist ümber ja viskasin selle ka Githubi

   1. https://github.com/pepzwee/node-steam-market-crawler
      

       

      [*]Laraveli enam projektis kasutama ei hakka, teen lihtsalt API nodes mida front-end hakkab kasutama

       

      Front-end uuendused

      1. Bootstrapi enam kasutama ei hakka
         
      2. Nüüd kasutan LESS asemel SASS-i
         
      3. Võtan kasutusele Vue.js
         

      Muu huvitav

      Kui keegi soovib kasutada Steam pilte, aga classid ei ole parasjagu saadval, et neid kätte saada siis võib kasutada minu poolset lehte @ https://assets.steamapis.com/images/

      Näide: https://assets.steamapis.com/images/238460-QWFyb24=.png

      Kasutus: https://assets.steamapis.com/images/{APPID}-{base64(market_hash_name)}.png

      
      
   2. Järgmine uuendus vahetab callbackid välja Promise vastu ja võtab kasutusele ES6 classid.
      
   3. https://github.com/pepzwee/node-steam-market-crawler/tree/dev
      
   
   

Muudetud 23. november, 2016 liikme PEPZ'i poolt

[Külaline PEPZ]

Vue on päris hea, pole küll veel keerukamate asjade juurde jõudnud aga siiani meeldib

 

 

 

Muudetud 6. detsember, 2016 liikme PEPZ'i poolt

[Amichie 0]

1. Laraveli enam projektis kasutama ei hakka, teen lihtsalt API nodes mida front-end hakkab kasutama
   

 

Nüüd on su äpp staatiline, oled mõelnud ka kus seda hostida? Ise kasutan hetkel eri projektide jaoks AWS S3 ja osade jaoks ka Google Firebase.

 

Firebase-i hosting on eriti hea, ta on mõeldud täpselt sellist tüüpi äppide jaoks. Projekti üleslaadimine käib ühe CLI käsuga. Ja mis kõige parem - see on tasuta. Annavad ka tasuta su custom domeenile SSL sertifikaadi (see käib üliautomaatselt).

 

Soovitan kindlasti proovida/lugeda: https://firebase.google.com/docs/hosting/

 

EDIT: Node API hostimiseks soovitaks Herokut