Apache-palkki

Apache-palkki Kuvaus Beam-logo-full-color-name-right-200-autocrop.png -kuvasta.

Tiedot
Kehittäjä Apache-ohjelmistosäätiö
Ensimmäinen versio 15. kesäkuuta 2016 ja 21. joulukuuta 2016
Viimeinen versio 2.14,0 (1 kpl elokuu 2019)
Tallettaa github.com/apache/beam
Kirjoitettu Java , Python ja Go
Käyttöjärjestelmä Monialustainen
Lisenssi Apache-lisenssiversio 2.0
Verkkosivusto beam.apache.org

Apache Beam on avoimen lähdekoodin yhtenäinen ohjelmointimalli datavirtojen määrittelemiseen ja suorittamiseen, mukaan lukien ETL , eräkäsittely ja suoratoisto (suoratoisto).

Beam-virrat määritetään SDK: n avulla ja suoritetaan yhdessä Beam-tuetuista juoksijoista (hajautetut käsittelytapetit), mukaan lukien Apache Flink , Apache Apex , Apache Samza , Apache Spark ja Google Cloud Dataflow.

Sitä on kutsuttu uber-API: ksi suurille tiedoille .

Historia

Apache Beam on Dataflow-mallin toteutus. Dataflow-malli perustuu aikaisempaan työhön hajautetun käsittelyn abstraktioiden suhteen Googlessa, erityisesti FlumeJavassa ja Millwheelissä.

Google julkaisi Dataflow-mallin avoimen SDK-toteutuksen vuonna 2014 ja ympäristön Dataflow'iden suorittamiseksi paikallisesti (ei jaettuna) sekä Google Cloud Platform -palvelussa .

Vuonna 2016 Google lahjoitti perus SDK: n sekä perusti paikallisen juoksijan ja I / O (dataliittimet) -sarjan käyttämään Google Cloud Platform -tietopalveluja Apache Software Foundationille .

Muut yritykset ja yhteisön jäsenet ovat auttaneet perustamaan hajautettuja ajonaikaisia ​​alustoja, samoin kuin uusia I / O-laitteita integroitumaan Beam Runnersin kanssa nykyisiin tietokantoihin, tietokantojen avainarvoihin ja järjestelmäviesteihin. Lisäksi uusia DSL: itä on ehdotettu tukemaan Beam-mallin erityistarpeita.

10. tammikuuta 2017 Apache Beamista tulee huipputason projekti.


Versio Alkuperäinen julkaisupäivä Viimeinen versio Julkaisupäivä
0.6.0 11.3.2017 0.6.0 11.3.2017
0.5.0 2017-02-02 0.5.0 2017-02-02
0.4.0 29.12.2016 0.4.0 29.12.2016
0.3.0 31.10.2016 0.3.0 31.10.2016
0,2,0 2016-08-08 0,2,0 2016-08-08
0.1.0 15.6.2016 0.1.0 15.6.2016

Katso myös

Viitteet

  1. "  https://projects.apache.org/json/projects/beam.json  " (käytetty 8. huhtikuuta 2020 )
  2. "  Julkaisu 2.14.0  " ,1 kpl elokuu 2019(käytetty 2. elokuuta 2019 )
  3. Alex Woodie , "  Apache Beamin kunnianhimoinen tavoite: Yhdistä suurten tietojen kehitys  " , Datanamissa ,22. huhtikuuta 2016(katsottu 4. elokuuta 2016 )
  4. "  Pilvitietovirta - erä- ja suoratoistotiedon käsittely  "
  5. Ian Pointer, "  Apache Beam haluaa olla uber-API suurille tiedoille  " , InfoWorld ,14. huhtikuuta 2016
  6. Tyler Akidau , Eric Schmidt , Sam Whittle ja Robert Bradshaw , ”  The dataflow model  ”, Proceedings of the VLDB Endowment , voi.  8, n o  12,1 kpl elokuu 2015, s.  1792–1803 ( DOI  10.14778 / 2824032.2824076 , luettu verkossa , käytetty 4. elokuuta 2016 )
  7. Craig Chambers , Ashish Raniwala , Frances Perry ja Stephen Adams , "  FlumeJava: helppoa, tehokasta dataa rinnakkaista putkistoa  ", ACM: n 31. ACM Sigplan -konferenssin ohjelmointikielten suunnittelu ja toteutus , ACM,1. st tammikuu 2010, s.  363–375 ( DOI  10.1145 / 1806596.1806638 , luettu verkossa , käyty 4. elokuuta 2016 )
  8. Tyler Akidau , Sam Whittle , Alex Balikov ja Kaya Bekiroğlu , "  MillWheel  ", Proceedings of the VLDB Endowment , voi.  6, n o  11,27. elokuuta 2013, s.  1033–1044 ( DOI  10.14778 / 2536222.2536229 , luettu verkossa , käytetty 4. elokuuta 2016 )
  9. Ian Pointer , "  Apache Beam haluaa olla uber-sovellusliittymä suurille tiedoille  ", InfoWorld (avattu 4. elokuuta 2016 )
  10. https://beam.apache.org/blog/2017/01/10/beam-graduates.html