Ausführen von Notizbüchern auf dem Microsoft Sentinel Data Lake

Jupyter-Notizbücher bieten eine interaktive Umgebung zum Untersuchen, Analysieren und Visualisieren von Daten im Microsoft Sentinel Data Lake. Mit Notizbüchern können Sie Code schreiben und ausführen, Ihren Workflow dokumentieren und Ergebnisse anzeigen – alles an einer zentralen Stelle. Dies erleichtert das Durchführen der Datensuche, das Erstellen erweiterter Analyselösungen und das Teilen von Erkenntnissen mit anderen. Durch die Nutzung von Python und Apache Spark in Visual Studio Code helfen Notizbüchern, rohe Sicherheitsdaten in umsetzbare Intelligenz umzuwandeln.

In diesem Artikel erfahren Sie, wie Sie Daten lake-Daten mithilfe von Jupyter-Notizbüchern in Visual Studio Code untersuchen und damit interagieren.

Voraussetzungen

Einstieg in den Microsoft Sentinel Data Lake

Um Notizbücher im Microsoft Sentinel Data Lake zu verwenden, müssen Sie zuerst in den Datensee integriert werden. Wenn Sie noch nicht in den Sentinel-Datensee eingebunden sind, lesen Sie Einbindung in den Microsoft Sentinel-Datensee. Wenn Sie erst seit kurzem einen Data Lake verwenden, kann es einige Zeit dauern, bis genügend Daten erfasst wurden, bevor Sie mit Notebooks aussagekräftige Analysen erstellen können.

Erlaubnisse

Microsoft Entra ID Rollen bieten einen breiten Zugriff auf alle Arbeitsbereiche im Data Lake. Alternativ können Sie über Azure RBAC-Rollen Zugriff auf einzelne Arbeitsbereiche gewähren. Benutzer mit Azure RBAC-Berechtigungen für Microsoft Sentinel Arbeitsbereiche können Notizbücher auf der Data Lake-Ebene für diese Arbeitsbereiche ausführen. Weitere Informationen finden Sie unter Roles und Berechtigungen in Microsoft Sentinel.

Um neue benutzerdefinierte Tabellen auf der Analyseebene zu erstellen, muss die verwaltete Identität des Datensees der Rolle Log Analytics Mitgestalter im Log Analytics-Arbeitsbereich zugewiesen werden.

Führen Sie die folgenden Schritte aus, um die Rolle zuzuweisen:

1. Navigieren Sie im Azure-Portal zum Log Analytics Arbeitsbereich, dem Sie die Rolle zuweisen möchten.
2. Wählen Sie im linken Navigationsbereich Zugriffssteuerung (IAM) aus.
3. Wählen Sie "Rollenzuweisung hinzufügen" aus.
4. Wählen Sie in der Tabelle RolleLog Analytics Mitwirkender und dann Weiter
5. Wählen Sie "Verwaltete Identität" und dann " Mitglieder auswählen" aus.
6. Die verwaltete Identität Ihres Data Lake ist eine vom System zugewiesene verwaltete Identität mit dem Namen msg-resources-<guid>. Wählen Sie die verwaltete Identität und dann "Auswählen" aus.
7. Wählen Sie Überprüfen und zuweisen aus.

Weitere Informationen zum Zuweisen von Rollen zu verwalteten Identitäten finden Sie unter Assign Azure Rollen mithilfe des Azure Portals.

Installieren von Visual Studio Code und der Microsoft Sentinel-Erweiterung

Wenn Sie noch nicht über Visual Studio Code verfügen, laden Sie Visual Studio Code für Mac, Linux oder Windows herunter.

Die Microsoft Sentinel-Erweiterung für Visual Studio Code (VS Code) wird über den Erweiterungs-Marketplace installiert. Führen Sie die folgenden Schritte aus, um die Erweiterung zu installieren:

1. Wählen Sie auf der linken Symbolleiste den Erweiterungs-Marketplace aus.
2. Suchen Sie nach Sentinel.
3. Wählen Sie die Erweiterung Microsoft Sentinel aus, und wählen Sie Install aus.
4. Nachdem die Erweiterung installiert wurde, wird das Microsoft Sentinel Schildsymbol in der linken Symbolleiste angezeigt.

Installieren Sie die GitHub Copilot-Erweiterung für Visual Studio Code, um die Code-Vervollständigung und Vorschläge in Notizbüchern zu aktivieren.

1. Suchen Sie im Extensions Marketplace nach GitHub Copilot, und installieren Sie sie.
2. Melden Sie sich nach der Installation mit Ihrem GitHub Konto bei GitHub Copilot an.

Erkunden von Tabellen auf Ebene des Data Lake

Nach der Installation der Microsoft Sentinel-Erweiterung können Sie mit dem Untersuchen von Tabellen der Datenseeebene und dem Erstellen von Jupyter-Notizbüchern beginnen, um die Daten zu analysieren.

Melden Sie sich bei der Microsoft Sentinel-Erweiterung an.

1. Wählen Sie auf der linken Symbolleiste das Microsoft Sentinel Schildsymbol aus.

2. Ein Dialogfeld wird mit dem folgenden Text angezeigt: Die Erweiterung "Microsoft Sentinel" möchte sich mit dem Microsoft-Konto anmelden. Wählen Sie Zulassen aus.

   

3. Wählen Sie Ihren Kontonamen aus, um die Anmeldung abzuschließen.

   

   Wenn Sie über mehrere Gastkonten verfügen, die Ihrer Anmeldung zugeordnet sind, können Sie nahtlos zwischen Konten wechseln. Um zwischen Konten zu wechseln, wählen Sie den Kontonamen unten links im fenster Visual Studio Code aus. Es kann jeweils nur ein Konto ausgewählt werden.

   

   Von Bedeutung

   Der Wechsel zwischen Konten trennt alle aktiven Pyspark-Sitzungen.

Data-Lake-Tabellen und Jobs anzeigen

Nachdem Sie sich angemeldet haben, zeigt die Sentinel-Erweiterung eine Liste der Lake-Tabellen und Aufträge im linken Bereich an. Die Tabellen werden nach der Datenbank und Kategorie gruppiert. Wählen Sie eine Tabelle aus, um die Spaltendefinitionen anzuzeigen.

Informationen zu Aufträgen finden Sie unter Aufträge und Terminplanung.

Erstellen eines neuen Notebooks

1. Verwenden Sie zum Erstellen eines neuen Notizbuchs eine der folgenden Methoden.

2. Geben Sie > in das Suchfeld ein, oder drücken Sie Ctrl+UMSCHALT+P und geben Sie dann Create New Jupyter Notebook ein.

3. Wählen Sie "Datei > Neue Datei" und dann im Dropdownmenü Jupyter Notebook aus.
   

4. Fügen Sie im neuen Notizbuch den folgenden Code in die erste Zelle ein.

   from sentinel_lake.providers import MicrosoftSentinelProvider
   data_provider = MicrosoftSentinelProvider(spark)
   
   table_name = "EntraGroups"  
   df = data_provider.read_table(table_name)  
   df.select("displayName", "groupTypes", "mail", "mailNickname", "description", "tenantId").show(100,   truncate=False)  
   

Der Editor bietet IntelliSense-Codevervollständigung sowohl für die MicrosoftSentinelProvider Klasse als auch für die Tabellennamen im Data Lake.

1. Wählen Sie das Dreieck Ausführen aus, um den Code im Notizbuch auszuführen. Die Ergebnisse werden im Ausgabebereich unterhalb der Codezelle angezeigt.
   

2. Wählen Sie Microsoft Sentinel aus der Liste für eine Liste der Laufzeitpools aus.

3. Wählen Sie Medium, um das Notizbuch im mittleren Laufzeitpool auszuführen. Weitere Informationen zu den verschiedenen Laufzeiten finden Sie unter Selecting the appropriate Microsoft Sentinel runtime.

Wenn die Sitzung gestartet wird, wird der Code im Notizbuch ausgeführt, und die Ergebnisse werden im Ausgabebereich unterhalb der Codezelle angezeigt, z. B.

Beispielnotizbücher, die die Interaktion mit dem Microsoft Sentinel Data Lake veranschaulichen, finden Sie unter Sample-Notizbücher für Microsoft Sentinel Data Lake.

Statusleiste

Die Statusleiste unten im Notizbuch enthält Informationen zum aktuellen Status des Notizbuchs und zur Spark-Sitzung. Die Statusleiste enthält die folgenden Informationen:

• Der vCore-Auslastungsprozentsatz für den ausgewählten Spark-Pool. Zeigen Sie mit der Maus auf den Prozentsatz, um die Anzahl der verwendeten vCores und die Gesamtanzahl der im Pool verfügbaren vCores anzuzeigen. Die Prozentsätze stellen die aktuelle Nutzung für interaktive Arbeitslasten und Auftragsarbeitslasten für das angemeldete Konto dar.

• Der Verbindungsstatus der Spark-Sitzung, z. B. Connecting, Connected oder Not Connected.

Festlegen von Session-Timeouts

Sie können die Sitzungsablaufzeit und Timeoutwarnungen für interaktive Notizbücher festlegen. Um das Timeout zu ändern, wählen Sie den Verbindungsstatus in der Statusleiste am unteren Rand des Notizbuchs aus. Wählen Sie aus den folgenden Optionen aus:

• Festlegen des Sitzungstimeoutzeitraums: Legt die Zeit in Minuten vor dem Timeout der Sitzung fest. Der Standardwert ist 30 Minuten.

• Sitzungs-Timeout zurücksetzen: Setzt das Sitzungs-Timeout auf den Standardwert von 30 Minuten zurück.

• Festlegen des Warnzeitraums für Sitzungstimeouts: Legt die Zeit in Minuten vor dem Timeout fest, dass eine Warnung angezeigt wird, dass die Sitzung zu einem Timeout kommt. Der Standardwert ist 5 Minuten.

• Zurücksetzen des Sitzungstimeouts-Warnzeitraums: Setzt die Warnung für das Sitzungstimeout auf den Standardwert von 5 Minuten zurück.

  

Verwenden von GitHub Copilot in Notizbüchern

Verwenden Sie GitHub Copilot, um Code in Notizbüchern zu schreiben. GitHub Copilot stellt Codevorschläge und AutoVervollständigen basierend auf dem Kontext Des Codes bereit. Um GitHub Copilot zu verwenden, stellen Sie sicher, dass die erweiterung GitHub Copilot in Visual Studio Code installiert ist.

Kopieren Sie Code aus den Sample-Notizbüchern für Microsoft Sentinel Data Lake und speichern Sie ihn in Ihrem Notizbuchordner, um Kontext für GitHub Copilot bereitzustellen. GitHub Copilot kann dann Codevervollständigungen basierend auf dem Kontext Ihres Notebooks vorschlagen.

Das folgende Beispiel zeigt, wie GitHub Copilot eine Codeüberprüfung erstellt.

Microsoft Sentinel Provider-Klasse

Um eine Verbindung mit dem Microsoft Sentinel Data Lake herzustellen, verwenden Sie die klasse SentinelLakeProvider. Diese Klasse ist Teil des access_module.data_loader Moduls und stellt Methoden für die Interaktion mit dem Datensee bereit. Um diese Klasse zu verwenden, importieren Sie sie, und erstellen Sie eine Instanz der Klasse mithilfe einer spark Sitzung.

from sentinel_lake.providers import MicrosoftSentinelProvider
data_provider = MicrosoftSentinelProvider(spark)

Weitere Informationen zu den verfügbaren Methoden finden Sie unter Microsoft Sentinel Provider class reference.

Auswählen des entsprechenden Laufzeitpools

Es stehen drei Laufzeitpools zur Verfügung, um Ihre Jupyter-Notizbücher in der Microsoft Sentinel-Erweiterung auszuführen. Jeder Pool ist für unterschiedliche Workloads und Leistungsanforderungen ausgelegt. Die Auswahl des Laufzeitpools wirkt sich auf die Leistung, Kosten und Ausführungszeit Ihrer Spark-Aufträge aus.

Anzeigen von Nachrichten, Protokollen und Fehlern

Nachrichtenprotokolle und Fehlermeldungen werden in drei Bereichen in Visual Studio Code angezeigt.

1. Der Ausgabebereich .

   1. Wählen Sie im Bereich OutputMicrosoft Sentinel aus der Dropdownliste aus.
   2. Wählen Sie "Debuggen" aus, um detaillierte Protokolleinträge einzuschließen.

   

2. Inline-Nachrichten im Notebook stellen Feedback und Informationen zur Ausführung von Codezellen bereit. Zu diesen Nachrichten gehören Aktualisierungen des Ausführungsstatus, Statusanzeigen und Fehlerbenachrichtigungen im Zusammenhang mit dem Code in der vorherigen Zelle.

3. Ein Benachrichtigungs-Popup in der unteren rechten Ecke von Visual Studio Code, auch bekannt als Toast-Nachricht, liefert Echtzeitbenachrichtigungen und Aktualisierungen zum Status der Vorgänge innerhalb des Notizbuchs und der Spark-Sitzung. Zu diesen Benachrichtigungen gehören Meldungen, Warnungen und Fehlermeldungen, wie die erfolgreiche Verbindung zu einer Spark-Sitzung und Timeout-Warnungen.

   

Aufträge und Planung

Sie können Aufträge planen, die zu bestimmten Zeiten oder Intervallen ausgeführt werden sollen, indem Sie die Microsoft Sentinel Erweiterung für Visual Studio Code verwenden. Mit Jobs können Sie Datenverarbeitungsaufgaben automatisieren, um Daten im Microsoft Sentinel Data Lake zusammenzufassen, zu transformieren oder zu analysieren. Aufträge werden auch verwendet, um Daten zu verarbeiten und Ergebnisse in benutzerdefinierte Tabellen auf Ebene des Data Lake oder der Analyse zu schreiben. Weitere Informationen zum Erstellen und Verwalten von Aufträgen finden Sie unter Erstellen und Verwalten von Jupyter-Notizbuchaufträgen.

Dienstparameter und Grenzwerte für VS Code Notebooks

Im folgenden Abschnitt werden die Dienstparameter und Grenzwerte für Microsoft Sentinel Data Lake bei Verwendung von VS Code Notebooks aufgeführt.

Problembehandlung

In der folgenden Tabelle sind häufige Fehler aufgeführt, die beim Arbeiten mit Notizbüchern auftreten können, deren Ursachen und vorgeschlagenen Aktionen, um sie zu beheben.

Verwandte Inhalte

• Erstellen und Verwalten von Notizbuchaufträgen
• Beispiel-Notizbücher für Microsoft Sentinel Datenlake
• Microsoft Sentinel Provider-Klassenreferenz
• übersicht über Microsoft Sentinel Data Lake
• Microsoft Sentinel Data Lake-Rollen und -Berechtigungen.