Von Daten zu Informationen – Cloudsuchdienst Azure Cognitive Search mit Knowledge Store (Wissensspeicher)
By Autor In Allgemein On 22. März 2022
In einem meiner letzten Blog-Beiträge mit dem Titel „Das Wissen im Unternehmen transparent machen“ habe ich die Azure Cognitive Search vorgestellt. In einem weiteren Beitrag mit dem Titel „Cloudsuchdienst Azure Cognitive Search im Praxis-Test“ präsentierte ich eine Beispiel-Anwendung, in der einfache Suchmöglichkeiten mit Azure Cognitive Search demonstriert wurden, um Dokumente und Dateien aller Art besser wiederzufinden als mit einem Dokumenten-Management-System. In diesem Beitrag beschreibe ich nun die Verwendung eines sogenannten „Knowledge Stores“.
Der Knowledge Store wird anstelle eines Suchindex, analog zur vorab beschriebenen Anwendung, eingesetzt. Der Vorteil eines Knowledge Stores besteht darin, dass in ihm mit Hilfe von Business Intelligence Tools, wie z.B. Microsoft Power BI, nach Inhalten gesucht werden kann. Es muss also keine eigene Anwendung dafür erstellt werden. Zusätzlich können im Knowledge Store eigene, sogenannte „Custom Skills“ untergebracht werden.
Ein Knowledge Store (Wissensspeicher) stellt eine sogenannte Datensenke dar. Diese wird von einer Cognitive Search-KI-Anreicherungspipeline erstellt. Diese „Datensenke“ ist dabei lediglich ein Azure Storage Account, in dem Dateien für unterschiedliche Verwendungszwecke abgelegt werden. Der Knowledge Store speichert die mit Cognitive Search angereicherten Inhalte in Form von Tabellen und Blobcontainern in Azure Storage Accounts für unabhängige Analysen oder für die Verarbeitung wie dem Knowledge Mining.
Der Knowledge Store entsteht durch Verwendung kognitiver Skills, die auf sogenannten Skillsets basieren. Diese Skillsets rufen mit Hilfe Künstlicher Intelligenz in einem Dokument spezielle Transformationen auf, wie z. B. das Erkennen von Entitäten oder das Übersetzen von Text. Bei der Ausgabe eines Skillsets kann es sich dann entweder um einen Suchindex oder um Projektionen in einem Knowledge Store handeln. Beide Ausgabeformen – Suchindex oder Knowledge Store – schließen sich gegenseitig aus. Daher kann mit Hilfe einer Pipeline nur eine von beiden Ausgabeformaten entstehen. Der Suchindex oder der Knowledge Store basieren auf denselben Eingaben und resultieren in einer Ausgabe, die mit unterschiedlichen Anwendungen verwendet werden kann.
Quelle: Microsoft https://docs.microsoft.com/de-de/azure/search/knowledge-store-concept-intro?tabs=portal
Technisch betrachtet, handelt es sich bei einem Knowledge Store um Azure Storage (Azure Table Storage, Azure Blob Storage oder beides). Jedes Tool und jeder Prozess, mit dem eine Verbindung mit einem Azure Storage herstellen kann, kann die Inhalte dieses Wissensspeichers dann nutzen.
Im Azure Storage Explorer erscheint ein Wissensspeicher wie jede gewöhnliche Sammlung von Tabellen, Objekten oder Dateien. Die Hauptvorteile des Wissensspeichers bestehen dabei im flexiblen Zugriff auf Inhalte und der Möglichkeit, die entstandenen Daten zu strukturieren. Aus ursprünglich „unstrukturierten Daten“ wie z.B. Texten innerhalb von Formaten wie docx, pptx oder jpeg werden somit strukturierte Daten in Tabellen, in denen dann leicht Zusammenhänge zwischen den Texten, Bildern oder Dokumenten gefunden werden können.
Microsoft hat dies in einem Video auf YouTube unter sehr anschaulich dargestellt. Dabei wurden Hotelbewertungen, die in Textform vorliegen, mit Cognitive Skills, Knowledge Store und dem Tool PowerBI untersucht. Bei Analyse der Hotel-Bewertungen, die unterhalb einer Zufriedenheit von 20% lagen, konnte ermittelt werden, dass in diesen negativen Bewertungen überwiegend das Frühstück oder das Badezimmer erwähnt wurden. Ein manuelles Lesen aller Bewertungen und eine entsprechende Auswertung ohne Knowledge Store wäre dagegen extrem zeitaufwändig gewesen.
In einem der nächsten Beiträge werde ich mit konkreten Beispieldaten und mit einer eigenen PowerBI-Anwendung den Nutzen des Knowledge Store an einem praktischen Beispiel erläutern.
Alle Produktnamen sind geschützte Marken und Markennamen der jeweiligen Hersteller.