Mikä on automaattinen apache Spark -määrityksille Fabricissa?

Autotune säätää automaattisesti Apache Sparkin asetuksia lyhentääkseen työkuorman suoritusaikaa ja parantaakseen suorituskykyä. Se auttaa välttämään manuaalisen virityksen, joka yleensä vaatii toistuvaa kokeilua ja erehdystä. Autotune käyttää työkuormiesi historiallista suoritusdataa löytääkseen ja soveltaakseen tehokkaita asetuksia jokaiselle työkuormalle.

Konfiguraation oletusasetukset ja vaatimukset

• Oletuskäyttäytyminen: Autotune on oletuksena pois päältä .
• Ei vaadita asetusta pois päältä: Jos et ota autotunea käyttöön, Spark käyttää sen vakiokonfiguraatiokäyttäytymistä.
• Vaadittu asetus autotuneen käyttöön: Aseta spark.ms.autotune.enabled=true jompiku:
  • Ympäristötasolla kaikki muistikirjat ja työt, jotka käyttävät kyseistä ympäristöä, perivät asetuksen. Katso Ota autotune käyttöön.
  • Vain yhdessä muistikirjassa tai Spark Job Definition -sessiossa. Katso Ota autotune käyttöön yhdelle istunnolle.

Kyselyn viritys

Autotune virittää nämä kolme Apache Spark -asetusta kutakin kyselyä varten:

• spark.sql.shuffle.partitions: Määrittää osioiden määrän tiedon sekoittumista varten liitoksissa tai aggregaatioissa. Oletusarvo on 200.
• spark.sql.autoBroadcastJoinThreshold: Asettaa maksimitaulukon koon tavuina, joka lähetetään työntekijäsolmuille liittämisen aikana. Oletusarvo on 10 MB.
• spark.sql.files.maxPartitionBytes: Asettaa maksimitavut, jotka pakkataan yhteen osioon tiedostoja lukiessa. Koskee Parquet-, JSON- ja ORC-tiedostolähteitä. Oletusarvo on 128 MB.

Autotune-kyselyjen viritys tarkastelee jokaista kyselyä ja rakentaa erillisen koneoppimismallin kyseiselle kyselylle. Se toimii parhaiten:

• Toistuvat kyselyt
• Pitkäkestoiset kyselyt (yli 15 sekuntia)
• Apache Spark SQL API -kyselyt (ei RDD API)

Voit käyttää autotunea muistikirjojen, Spark-tehtävämäärittelyjen ja putkiston kanssa. Hyöty vaihtelee kyselyn monimutkaisuuden ja datan muodon mukaan. Testauksessa suurimmat edistysaskeleet näkyvät tutkivissa datan analyysimalleissa, kuten lukemisissa, liitoksissa, aggregaatioissa ja lajitteluissa.

Miten autotune toimii

Autotune käyttää iteratiivista optimointisilmukkaa:

1. Aloita oletusarvoista Spark-konfiguraatioarvoista.
2. Luo ehdokaskonfiguraatiot perusviivan (centroid) ympärille.
3. Ennusta paras ehdokas käyttämällä mallia, joka on koulutettu aiemmilla juoksuilla.
4. Hae ehdokas ja suorita kysely.
5. Syötä suoritustulokset takaisin malliin.

Ajan myötä lähtötaso siirtyy parempiin asetuksiin samalla kun regressioriski vähenee. Kaikkien kerättyjen datapisteiden hyödyntäminen auttaa myös vähentämään poikkeavuuksien vaikutusta.

Ota automaattinen viritys käyttöön

Autotune on saatavilla kaikilla tuotantoalueilla, mutta se on oletuksena pois päältä. Mahdollistaaksesi sen ympäristötasolla, aseta Spark-ominaisuus spark.ms.autotune.enabled=true uuteen tai olemassa olevaan ympäristöön. Kaikki muistikirjat ja tehtävät, jotka käyttävät kyseistä ympäristöä, perivät asetuksen.

Autotune sisältää sisäänrakennetun regression tunnistuksen. Esimerkiksi, jos kysely käsittelee poikkeuksellisen suuren määrän dataa, autotune voi automaattisesti ohittaa virityksen kyseiselle suoritukselle. Monissa tilanteissa autotune tarvitsee noin 20–25 iteraatiota, jotta se yhdistyy vahvoilla asetuksilla.

Voit myös ottaa automaattisen virityksen käyttöön yhdeksi istunnoksi asettamalla Spark-ominaisuuden muistikirjassasi tai Spark-tehtävien määrittelussa.

Ota automaattinen viritys käyttöön yhdeksi istunnoksi

%%sql
SET spark.ms.autotune.enabled=TRUE

%%pyspark
spark.conf.set('spark.ms.autotune.enabled', 'true')

%%spark
spark.conf.set("spark.ms.autotune.enabled", "true")

%%sparkr
library(SparkR)
sparkR.conf("spark.ms.autotune.enabled", "true")

Poista autotune käytöstä yhdeksi istunnoksi

Autotunen poistamiseksi muistikirjassa tai Spark Job Definitionissa suorita jokin seuraavista komennoista ensimmäisenä soluna tai ensimmäisenä koodirivinä.

%%sql 
SET spark.ms.autotune.enabled=FALSE 

%%pyspark
spark.conf.set('spark.ms.autotune.enabled', 'false')   

%%spark  
spark.conf.set("spark.ms.autotune.enabled", "false")

%%sparkr
library(SparkR)
sparkR.conf("spark.ms.autotune.enabled", "false")

Tapaustutkimus

Kun suoritat Apache Spark -kyselyn, autotune rakentaa mallin kyseiselle kyselymuodolle ja oppii parhaat asetukset ajan myötä. Esimerkiksi aloitetaan tällä suodatinkyselyllä:

%%pyspark
df.filter(df.country == "country-A")

Autotune oppii tästä suorituksesta. Jos myöhemmin muutat vain suodattimen arvon, kyselymuoto pysyy samanlaisena:

%%pyspark
df.filter(df.country == "country-B")

Autotune voi hyödyntää aiempia oppeja tähän samankaltaiseen kyselymalliin, mikä auttaa ylläpitämään suorituskykyä ilman manuaalista uudelleenviritystä.

Logs

Jokaiselle kyselylle autotune laskee suositellut arvot kolmelle tuetulle Spark-konfiguraatiolle. Suositusten tarkistamiseksi tarkista kuljettajien lokit merkinnöistä, jotka alkavat [Autotune]-kirjaimella.

Yleisiä loki-tiloja ovat:

Läpinäkyvyyden huomautus

Vastuullisen tekoälystandardin mukaisesti tässä osiossa selitetään, miten autotunea käytetään ja validoidaan.

Automaattisen todennuksen tarkoitus

Autotune on suunniteltu parantamaan Apache Sparkin työkuorman tehokkuutta data-alan ammattilaisille. Se:

• Säätää automaattisesti Apache Spark -asetukset lyhentämään suoritusaikaa.
• Vähentää manuaalista viritystyötä.
• Käyttää historiallista työkuormadataa konfiguraatiovalintojen iteratiiviseen tarkentamiseen.

Autotunen vahvistus

Autotune käy läpi laajan validoinnin tehokkuuden ja turvallisuuden varmistamiseksi:

• Käyttää tiukkoja testejä eri Spark-työkuormissa viritysalgoritmin tehokkuuden varmistamiseksi.
• Vertailuja standardeihin Spark-optimointimenetelmiin suorituskyvyn parantamiseksi.
• Sisältää tosielämän tapaustutkimuksia, jotka osoittavat käytännön arvoa.
• Noudattaa tiukkoja turvallisuus- ja yksityisyysstandardeja käyttäjätietojen suojaamiseksi.

Käyttäjätietoja käytetään vain kuormituksen suorituskyvyn parantamiseen, ja vankoilla suojauksilla estetään luottamuksellisten tietojen väärinkäyttö tai altistuminen.

Aiheeseen liittyvä sisältö

• yhteyden rajoitukset ja jonottaminen Apache Sparkissa Microsoft Fabric
• Apache Spark -laskenta Microsoft Fabric