Apache Storm

Apache Storm

Tiedot
Kehittäjä Apache-ohjelmistosäätiö
Ensimmäinen versio 12. huhtikuuta 2014
Viimeinen versio 1.2.3 (18. heinäkuuta 2019)
2.0.0 (30. toukokuuta 2019)
2.1.0 (31. lokakuuta 2019)
Tallettaa git-wip-us.apache.org/repos/asf/storm.git
Kirjoitettu Clojure ja Java
Lisenssi Apache-lisenssi
Verkkosivusto storm.apache.org

Apache Storm on hajautetun virran käsittelyn laskentakehys , joka on kirjoitettu pääasiassa Clojure- ohjelmointikielellä . Alun perin Nathan Marzin ja BackType-tiimin luomasta projektista tehdään avoimen lähdekoodin, kun Twitter on hankkinut sen. Se käyttää räätälöityjä "nokia" ja "pultteja" määrittelemään tietolähteet ja manipulaatiot eräkäsittelyä ja jatkuvaa tiedonjakoa varten. Ensimmäinen julkaisu pidettiin17. syyskuuta 2011.

Storm-sovellus on suunniteltu "topologiaksi" suunnatun asyklisen kuvaajan (DAG) muodossa, jossa nokka ja pultit toimivat kaavion kärjinä. Kaavion reunat on nimetty virtauksiksi ja ne ohjaavat tietoja solmusta toiseen. Yhdessä topologia toimii tiedonsiirtoputkena. Pinnallisesti yleinen topologinen rakenne on samanlainen kuin MapReduce- työ , ja suurin ero on se, että tietoja käsitellään reaaliajassa yksittäisten erien sijaan. Lisäksi Storm-topologiat toimivat loputtomiin, kunnes ne poistetaan, kun taas toimivan MapReduce DAG: n pitäisi olla valmis.

Stormista tuli Apache-huipputason projekti vuonna syyskuu 2014 ja oli aiemmin hautomossa vuodesta Syyskuu 2013.

Vertaisalustat

Storm on vain yksi kymmenistä virtauksen prosessoreista. Täydellisempi luettelo on kohdassa Työnkulun käsittely . Twitter ilmoitti Heronista2. kesäkuuta 2015Stormin kanssa yhteensopiva sovellusliittymä. On olemassa muita vertailukelpoisia suoratoistodatamoottoreita, kuten Spark Streaming ja Flink .

Katso myös

Viitteet

  1. "  https://projects.apache.org/json/projects/storm.json  " (käytetty 8. huhtikuuta 2020 )
  2. "  http://storm.apache.org/2019/07/18/storm123-released.html  "
  3. "  http://storm.apache.org/2019/05/30/storm200-released.html  "
  4. "  http://storm.apache.org/2019/10/31/storm210-released.html  "
  5. Marz, "  About Nathan Marz  " , Nathan Marz (käytetty 28. maaliskuuta 2013 )
  6. "  BackType-verkkosivusto (poissa käytöstä)  " , BackType (käytetty 28. maaliskuuta 2013 )
  7. "  Myrsky on tulossa: lisätietoja ja suunnitelmia julkaisusta  " , Engineering Blog , Twitter Inc (käytetty 29. heinäkuuta 2015 )
  8. "  Storm Codebase  " , Github (käytetty 8. helmikuuta 2013 )
  9. "  Opetusohjelma - Myrskyklusterin komponentit  " , dokumentaatio , Apache Storm (käytetty 29. heinäkuuta 2015 )
  10. "  Apache Stormin valmistuneet huipputason projektiin  "
  11. "  Storm Project Incubation Status  " , Apache Software Foundation (käytetty 29. lokakuuta 2013 )
  12. "  Storm Ehdotus  " , Apache Software Foundation (käytetty 29. lokakuuta 2013 )
  13. "  Flying nopeammin Twitter Heronin kanssa  " , tekniikkablogi , Twitter Inc (käytetty 3. kesäkuuta 2015 )
  14. "  Suoratoistolaskennan vertailuarvot: myrsky, välkkyminen ja kipinöinti  " [PDF] , IEEEToukokuu 2016