Biblioteksadministration i Fabric-miljøer

Microsoft Fabric-miljøer giver fleksibel konfiguration til at køre Spark-jobs. Biblioteker leverer genanvendelig kode til notebooks og Spark-jobdefinitioner. Ud over indbyggede biblioteker, der følger med hver Spark-runtime, kan du installere offentlige og brugerdefinerede biblioteker i Fabric-miljøer.

Indbyggede biblioteker

I Fabric indeholder hver runtime-version et kurateret sæt indbyggede biblioteker, der er optimeret til ydeevne, kompatibilitet og sikkerhed på tværs af Python, R, Java og Scala. I dit miljø kan du bruge sektionen Indbyggede Biblioteker til at gennemse og søge i forudinstallerede biblioteker for den valgte runtime.

Hvis du vil se listen over forudinstallerede pakker og deres versioner for hver kørsel, skal du se Apache Spark-kørsler i Fabric.

Vælg publiceringstilstand for biblioteker

Før du tilføjer biblioteker fra eksterne repositories eller uploader brugerdefinerede pakker, skal du vælge en publiceringstilstand. Fabric-miljøer understøtter to tilstande: Full mode og Quick mode.

Full mode

Full mode bruger den traditionelle publiceringsarbejdsgang. Under publicering løser Fabric afhængigheder, validerer kompatibilitet og skaber et stabilt bibliotekssnapshot. Det snapshot bliver udsendt, når en ny session starter.

Brug Full mode til produktionsarbejdsbelastninger, pipelines og miljøer med tungere afhængighedssæt.

Quick mode

Quick mode springer afhængighedsbehandling over under publicering. I stedet installeres pakkerne ved opstart af notesbogens session.

Brug Hurtig tilstand til letvægtsafhængigheder, hurtig iteration og tidlig eksperimentering.

At vælge den rigtige tilstand til dine behov

Brug afhængighedskompleksitet og release-fase til at vælge en tilstand.

• Full mode: Bedst til større afhængighedssæt (for eksempel mere end 10 pakker), produktionskørsler og pipeline-pålidelighed. Publiceringstiden er typisk 2 til 10 minutter, med yderligere 30 sekunder til 2 minutter ved sessionens opstart, afhængigt af afhængighedens størrelse.
• Quick mode: Bedst til lettere afhængighedssæt og hurtig iteration. Publiceringen fuldføres som regel på sekunder, og installationstiden sker ved sessionsopstart.

Du kan blande modes under udviklingen. Et almindeligt mønster er at iterere i Quick mode og derefter flytte validerede afhængigheder til Full mode for et stabilt produktionsøjebliksbillede.

Du kan også beholde et eksisterende Full mode snapshot uændret og kun tilføje nye testpakker i Quick mode. I denne opsætning forbliver publicering hurtig, det eksisterende snapshot implementeres først, og Quick mode-pakker installeres ved sessionsopstart.

Tilstandsbegrænsninger og adfærd

• Hurtig tilstand understøttes kun for bærbare computere.
• JAR-filer understøttes ikke i Hurtig tilstand.
• Kun Full mode understøtter private repositories (Azure Artifact Feed).
• Du kan ikke flytte brugerdefinerede biblioteker direkte mellem tilstande. For at skifte tilstand, download filen, fjern den fra den nuværende tilstand og upload den derefter til måltilstanden.
• Installationslogs vises ikke i notesbogen. Brug Overvågning (Niveau 2) til at følge fremskridt og fejlfinde problemer.
• Duplikerede pakker på tværs af tilstande understøttes, inklusive samme og forskellige versioner. Full mode snapshot-pakker anvendes først, derefter Quick mode-pakker. Hvis navnene matcher, tilsidesætter Quick mode-versioner Full mode-versionerne.
• Quick mode-pakker installeres, når den første kodecelle for det pågældende sprog kører. For eksempel installeres Python-pakker, når den første Python-celle kører, og R-pakker installeres, når den første R-celle kører.

Eksterne arkiver

I sektionen Eksterne repositories kan du tilføje biblioteker fra offentlige repositories, såsom PyPI og Conda, og fra private repositories, såsom Azure Artifact Feed.

Tilføj et nyt bibliotek fra offentlige arkiver

For at tilføje et nyt bibliotek fra et offentligt arkiv (PyPI eller Conda), vælg Tilføj bibliotek fra offentligt arkiv. Indtast bibliotekets navn i søgefeltet. Mens du skriver, foreslår søgefeltet populære biblioteker, men listen er begrænset. Hvis du ikke kan se dit bibliotek, så indtast det fulde navn.

• Hvis bibliotekets navn er gyldigt, kan du se de tilgængelige versioner.
• Hvis biblioteksnavnet ikke er gyldigt, får du en advarsel om, at biblioteket ikke findes.

Tilføj et nyt bibliotek fra private arkiver

Opsæt forbindelse til dit Azure Artifact Feed

Fabric tillader ikke direkte lagring af legitimationsoplysninger. Opsæt forbindelser via Data Factory Connector. Brug disse trin til at oprette en forbindelse til Azure Artifact Feed. Lær mere om Azure Artifact Feed.

1. I arbejdsområdeindstillinger går du til Administrer forbindelser og gateways.

   

2. Skab en ny forbindelse. Vælg Cloud som typen, og vælg derefter Azure Artifact Feed (Preview) som forbindelsestype. Indtast URL'en og brugertokenet, og vælg derefter Tillad Code-First Artefakt ... for at få adgang til denne forbindelse (Forhåndsvisning).

   

3. Optag forbindelses-ID'et efter oprettelsen. Du skal bruge dette ID for at bruge forbindelsen i Fabric-miljøer.

Tilføj biblioteker fra Azure Artifact Feed

For at installere biblioteker fra Azure Artifact Feed, forbered en YML-fil med biblioteksdetaljer og private repository-forbindelsesoplysninger. En typisk YML-fil indeholder Azure Artifact Feed-URL'en og autentificeringsdetaljer. For at Fabric kan genkende forbindelsen, erstatter URL'en og legitimationsoplysningerne med det Connection ID, der er oprettet i Data Factory Connector.

Nedenfor er et eksempel:

# Regular YAML
dependencies:
  - pip:
    - fuzzywuzzy==0.18.0
    - wordcloud==1.9.4
    - --index-url <URL_TO_THE_AZURE_ARTIFACT_FEED_WITH_AUTH>

# Replace the Azure Artifact Feed URL with connection ID
dependencies:
  - pip:
    - fuzzywuzzy==0.18.0
    - wordcloud==1.9.4
    - --index-url <YOUR_CONNECTION_ID>

Når du har forberedt YML-filen, upload den direkte eller skift til YML-editoren og indsæt indholdet. Når du publicerer miljøet, læser Fabric pakker fra dit private repository og lagrer dem. Hvis du opdaterer pakker i Azure Artifact Feed, genudgiver du miljøet for at anvende de seneste ændringer.

Filtrer eksterne biblioteker

Du kan bruge pakkenavnet som nøgleord til at filtrere listen over eksterne biblioteker.

Opdater eksterne biblioteker

Du kan opdatere bibliotekets navn, version og kildetype i Listevisning. I YML-editorvisningen kan du også opdatere disse detaljer og Azure Artifact Feed-forbindelses-ID'et.

Slet eksterne biblioteker

Slet-muligheden for hvert bibliotek vises, når du holder musen over dets række. For at slette flere eksterne biblioteker, vælg dem og klik på Slet. Du kan også fjerne biblioteker ved at bruge YML-editorvisningen.

Vis afhængighed

Eksterne biblioteker fra offentlige repositories kan inkludere afhængigheder. Muligheden Visning af afhængigheder vises, når du holder musen over en række. Vælg denne mulighed for at hente afhængighedstræet fra offentlige arkiver. Hvis Fabric ikke kan finde biblioteket i offentlige repositories (for eksempel hvis det er privat i Azure Artifact Feed), er afhængighedsinformation ikke tilgængelig.

Eksporter til .yml

Du kan eksportere hele den eksterne biblioteksliste til en .yml fil og downloade den til din lokale mappe.

Brugerdefinerede biblioteker

Brugerdefinerede biblioteker er kodepakker, der er bygget af dig eller din organisation. Fabric understøtter brugerdefinerede biblioteksfiler i .whl, .py, .jarog .tar.gz formater.

Overfør det brugerdefinerede bibliotek

Du kan uploade brugerdefinerede biblioteker fra din lokale mappe til Fabric-miljøet.

Slet det brugerdefinerede bibliotek

Indstillingen Papirkurv for hvert bibliotek vises, når du holder markøren over den tilsvarende række. Hvis du vil slette flere brugerdefinerede biblioteker, skal du markere dem og derefter vælge Slet.

Download alle brugerdefinerede biblioteker

Vælg brugerdefinerede biblioteker for at downloade dem en efter en til din lokale standardmappe til download.

Relateret indhold

• Opret, konfigurer og brug et miljø i Fabric
• Administrer Apache Spark-biblioteker i Fabric