Microsoft ja .NET Foundation ovat julkaisseet .NET-version 1.0 Apache Sparkille, avoimen lähdekoodin paketille, joka tuo .NET-kehityksen Spark-analyysimoottoriin laajamittaista tietojenkäsittelyä varten.
Ilmoitettu 27. lokakuuta .NET for Apache Spark 1.0 tukee .NET Standard 2.0 tai uudempaa kohdistavia .NET-sovelluksia. Käyttäjät voivat käyttää Spark DataFrame -sovellusliittymiä, kirjoittaa Spark SQL: ää ja luoda käyttäjän määrittelemiä toimintoja UDF).
.NET for Apache Spark -kehys on saatavana .NET Foundationin GitHub -sivulta tai NuGetistä. Muita .NET for Apache Spark 1.0 -ominaisuuksia ovat:
- API-laajennuskehys tukemaan muita Spark-kirjastoja, mukaan lukien Linux Foundation Delta Lake, Microsoft OSS Hyperspace, ML.NET ja Apache Spark MLlib -toiminnot.
- .NET Apache Spark -ohjelmille, jotka eivät ole UDF: itä, osoittavat samaa nopeutta kuin Scala- ja PySpark-pohjaiset ei-UDF-sovellukset. Jos sovelluksissa on UDF-tiedostoja, .NET for Apache Spark -ohjelmat ovat vähintään yhtä nopeita kuin PySpark-ohjelmat tai saattavat olla nopeampia.
- .NET for Apache Spark on sisäänrakennettu Azure Synapsiin ja Azure HDInsightiin. Sitä voidaan käyttää myös muissa Apache Spark -pilvipalveluissa, mukaan lukien Azure Databricks.
Projektin ensimmäinen julkinen versio julkistettiin huhtikuussa 2019. .NET-kehityksen edistäminen Apache Sparkille lisäsi kysyntää helpommalle tavalle rakentaa isoja tietosovelluksia sen sijaan, että tarvitsisi oppia Scalaa tai Pythonia. Projekti toimii .NET Foundationin alaisuudessa ja on jätetty Spark-projektin parannusehdotukseksi, joka on otettava huomioon suoraan Apache Spark -projektissa.
Tulevaisuudessa Microsoft korjaa esteet, mukaan lukien ennakkoedellytysten ja riippuvuuksien asettamisen ja laadukkaan dokumentaation etsimisen, esimerkiksi yhteisön tarjoamien "käyttövalmiiden" Docker-kuvien ja .NET for Apache Spark -dokumentaation päivitysten kanssa. Toinen prioriteetti on käyttöönottovaihtoehtojen tukeminen, mukaan lukien integrointi CI / CD-palveluputkien kanssa ja töiden julkaiseminen suoraan Visual Studiosta.
