Dokumentasjon for Fabric Data Engineering

Om Dataingeniør ing

Oversikt

• Hva er Dataingeniør ing?
• Hva er et innsjøhus?

Konsept

• Lakehouse- og Delta-bord
• Arbeidsområderoller og -tillatelser
• Velg et datalager

Veiledning

• Deltaoptimalisering og V-ordre
• Last inn i tabeller

Kom i gang med lakehouse

Kom i gang

• Opprett et innsjøhus
• Navigere i lakehouse explorer

Veiledning

• Få data inn i lakehouse ved hjelp av notatblokk

Opplæring

• Trinn 1 – Opprett et arbeidsområde
• Trinn 2 - Opprett et lakehouse
• Trinn 3 – Innta data i lakehouse
• Trinn 4 – Transformer data til deltatabeller
• Trinn 5 – Lag en semantisk modell og bygg en rapport
• Trinn 6 – Rydd opp ressurser

Komme i gang med notatblokker

Kom i gang

• Opprette og bruke notatblokker

Veiledning

• Utvikle og kjøre notatblokker
• Utforsk lakehouse-data med en notatblokk
• Visualiser notatblokker
• Kildekontroll og distribusjon av notatblokker
• Redigere og kjøre T-SQL-notatblokker

Spørring med API for GraphQL

Oversikt

• Hva er Fabric API for GraphQL?

Kom i gang

• Opprette en API for GraphQL og legge til data

Veiledning

• Behandle relasjoner
• Koble til programmer
• Spør flere datakilder
• GraphQL-kildekontroll og utrullingssamlebånd
• Overvåke instrumentbord og logging (forhåndsversjon)

VS Code-integrering

Konsept

• Hva er filtypen Data Engineering VS Code?

Veiledning

• Bruke notatblokker fra VS Code
• Bruk beholderbilde fra VS Code
• Bruk Spark-jobbdefinisjoner fra VS Code
• Utforsk lakehouse fra VS Code
• Utvikle notatblokk fra VS Code-nettopplevelsen

Apache Spark for Data Engineering

Konsept

• Apache Spark-jobbdefinisjon
• Hva er Apache Spark-rådgiver?

Kom i gang

• Opprett en Spark-jobbdefinisjon
• Opprett en Spark-jobbdefinisjon med en Fabric API
• Git-integrasjon med Spark-jobbdefinisjon

Veiledning

• Planlegge og kjøre en Spark-jobbdefinisjon
• Behandle Apache Spark-biblioteker
• Slik bruker du Fabric MSSparkUtils

Kom i gang med miljøet

Kom i gang

• Tekstilmiljøer

Veiledning

• Behandle Spark-databehandling i miljøer
• Behandle biblioteker i miljøer
• Miljø-Git-integrasjon og utrullingssamlebånd
• Administrere miljøet gjennom offentlige API-er
• Administrere biblioteker i et miljø som er sikret med beskyttelse mot utgående tilgang

Livy-API for stoff

Oversikt

• Hva er Livy-API-en?

Kom i gang

• Opprette og kjøre Spark-jobber ved hjelp av Livy-API-en
• Send inn Livy API-øktjobber
• Send inn livy API-satsvise jobber

Optimaliser med materialiserte innsjøutsikter

Oversikt

• Hva er materialisert utsikt over innsjøen?

Kom i gang

• Kom i gang med materialisert utsikt over innsjøen
• Implementere medaljongarkitektur med materialisert utsikt over innsjøen
• Administrer materialisert utsikt over innsjøen