Upgraden von ML-Workflows auf Zielmodelle in Unity Catalog

In diesem Artikel wird erklärt, wie vorhandene Databricks-Workflows migriert und aktualisiert werden, um Modelle im Unity Catalog zu verwenden.

Anforderungen

Erforderliche Privilegien

Zum Ausführen eines Modelltrainings-, Bereitstellungs- oder Inferenzworkflows in Unity Catalog muss der Benutzer, der den Workflow ausführt, über die Berechtigungen "USE CATALOG" und "USE SCHEMA" für den Katalog und das Schema verfügen, die das Modell enthalten.

Die folgenden Berechtigungen sind ebenfalls erforderlich:

• Zum Erstellen eines Modells muss der Hauptbenutzer die CREATE MODEL-Berechtigung haben.
• Zum Laden oder Bereitstellen eines Modells muss der Prinzipal über das EXECUTE-Recht für das registrierte Modell verfügen.

Nur der Besitzer eines registrierten Modells kann:

• Eine neue Modellversion erstellen.
• Einen Alias für ein registriertes Modell festlegen.

Computeanforderungen

Die für den Workflow angegebene Computeressource muss Zugriff auf Unity Catalog haben. Siehe Zugriffsmodi.

Erstellen paralleler Trainings-, Bereitstellungs- und Rückschlussworkflows

Um Modelltrainings- und Rückschlussworkflows auf Unity Catalog zu aktualisieren, empfiehlt Databricks einen inkrementellen Ansatz, bei dem Sie eine Pipeline für paralleles Training, Bereitstellung und Rückschluss erstellen, die Modelle in Unity Catalog nutzt. Wenn Sie mit den Ergebnissen mit Unity-Katalog vertraut sind, können Sie nachgeschaltete Consumer wechseln, um die Batchableitungsausgabe zu lesen oder den Datenverkehr zu Modellen im Unity-Katalog bei der Bereitstellung von Endpunkten zu erhöhen.

Workflow für das Modelltraining

Klonen Sie Ihren Modelltrainings-Workflow. Vergewissern Sie sich, dass der Hauptakteur, der den Workflow ausführt, und die für den Workflow angegebenen Rechenressourcen die Anforderungen erfüllen.

Ändern Sie als Nächstes den Modelltrainingscode im geklonten Workflow. Möglicherweise müssen Sie das vom Workflow ausgeführte Notebook klonen oder einen neuen Git-Branch im geklonten Workflow erstellen und als Ziel festlegen. Führen Sie diese Schritte aus, um die erforderliche Version von MLflow zu installieren und den Client mit Unity Catalog als Ziel in Ihrem Trainingscode zu konfigurieren. Aktualisieren Sie dann den Modelltrainingscode, um Modelle bei Unity Catalog zu registrieren. Siehe Trainieren und Registrieren von Unity Catalog-kompatiblen Modellen.

Bereitstellungsworkflow für Modelle

Klonen Sie Ihren Modellbereitstellungsworkflow. Vergewissern Sie sich, dass der Prinzipal, der den Workflow ausführt, und die für den Workflow angegebenen Rechnerressourcen die Anforderungen erfüllen.

Wenn Sie über eine Modellvalidierungslogik in Ihrem Bereitstellungsworkflow verfügen, aktualisieren Sie sie dahingehend, dass Modellversionen aus UC geladen werden. Verwenden Sie Aliase, um Rollouts von Produktionsmodellen zu verwalten.

Modellinferenzworkflow

Batch-Inferenz-Workflow

Klonen Sie den Batch-Inferenz-Workflow. Stellen Sie sicher, dass der Hauptadministrator, der den Workflow ausführt, und die für den Workflow angegebene Rechenleistung die Voraussetzungen erfüllen.

Modellbereitstellungs- und -verwendungsablauf

Wenn Sie Mosaik AI Model Serving verwenden, müssen Sie Ihren vorhandenen Endpunkt nicht klonen. Nutzen Sie stattdessen die Funktion zur Verkehrsaufteilung, um mit der Weiterleitung eines kleinen Bruchteils des Datenverkehrs an Modelle im Unity Catalog zu beginnen. Erhöhen Sie beim Überprüfen der Ergebnisse mit Unity Catalog den Umfang des Datenverkehrs, bis der gesamte Datenverkehr umgeleitet wird.

Höherstufen eines Modells in verschiedenen Umgebungen

Das Verteilen eines Modells über verschiedene Umgebungen funktioniert bei Modellen im Unity Catalog anders. Weitere Einzelheiten finden Sie unter Modell in die nächste Umgebung überführen.

Verwenden von Auftragswebhooks zur manuellen Genehmigung für die Modellimplementierung

Databricks empfiehlt, die Modellbereitstellung nach Möglichkeit zu automatisieren und während des Modellbereitstellungsprozesses geeignete Überprüfungen und Tests zu verwenden. Wenn Sie jedoch manuelle Genehmigungen für die Bereitstellung von Produktionsmodellen durchführen müssen, können Sie Auftragsbenachrichtigungen verwenden, um externe CI/CD-Systeme aufzurufen und eine manuelle Genehmigung für die Bereitstellung eines Modells anzufordern, nachdem Ihr Modelltrainingsauftrag erfolgreich abgeschlossen wurde. Nach der manuellen Genehmigung kann Ihr CI/CD-System die Modellversion bereitstellen, um Datenverkehr zu verarbeiten, z. B. durch Festlegen des Alias „Champion“.