DataLake
DataLake
Business Event
<Example>Lizenzauswertung
Business Function
Datenpipeline
Daten konsumieren
Analyse (copy)
Konsumieren (copy)
Extraktion
Extraktion (copy)
Speicherung
Analyse
Data Ingestion (Datenaufnahme)
Transformation (copy)
Daten konsumieren und auswerten
Datenverarbeitung und Datenanalyse
(Soft-Transformation)
Speicherung (copy)
Transformation
Load (copy)
Business-Anwender
Transformation
Load (copy)
Konsumieren
Laden
Datenpipeline (copy)
Generische Datenpipeline
Datenkonsumieren
Bundesmaster
SAM ToolBehörden
Reseller
Bundesmaster-Daten
The Crew
BI -Service
Datenintegration Stream
Superset-Dashboards
Datenkatalog und Nachvollziehbarkeit
Grafana
Application Component
Application Component
Dashboards (copy)
Generische Applikation
Dagstar-Datenpipeline
Generische Applikation
Crew AI-Agent
Vektormanagement Application
Datenintegration SQL
LLM Embedding
Chatbot
Application Component
Datenbereitstellung
Apache Ranger
Datenintegration PDF/DOCs
Dashboa
Iceberg
KI-Sprachmodell
Zentrales Datenarchiv
n8n-Vektor-Encoder
Dagster Plattform
REST API
Crew AI-Agent
Dashboards (copy)
Datenintegration CSV
Datenintegration Images
Datenintegration SOAP API
Open Metadata Plattform
Datenintegration SQL
Dagster-Instanz
KI-Assistenzsystem
MLflow Platform
Datenprozess-Steuerung und Governance
SQL-Anwendungen
Embedding
KI-Wissensdatenbank
Strukturierte Datenbank
Datenauswertung
MinIO Objektspeicher
LangChain-Framework
Zentrale Zugriffstelle
Datenintegrationen via REST API
Application Component
STACKIT-SaaS Dremio
n8n-Node
Connector
Datenintegration durchführen
Relationale Daten speichern
Prompt- und Output-Steuerung
Aufgaben ausführen
Prompts verarbeiten
Zugriffe steuern
Test-Snythese
Datenanalyse (SQL-Abfragen)
Metadaten verwalten
Datenpipeline auführen
Web Scraping
Datenabruf und Textgenerierung
Sprachmodelle bereitstellen
Dialog Management
Überwachung Sicherheitsrichtlinien (Policy Management)
Model Deployment
Daten visualisieren
Datenkatalog verwalten
S3 Storage nutzen
Asset Management
Datenpipelines verwalten
Daten-Dis
Datenpipeline verwalten
Embeddings verwalten
S3-Objekte speichern
Logging und Monitoring
BI-Analysen
Daten-Assets erfassen
Protokollierung und Logging
Vektoren speichern
Dokumente analysieren
ETL
Vektor-Embeddings erzeugen
Erstellung NLP-basierte Chains
LLM verwalten
Dokumente suchen
Model Management
Aufgaben ausführen
Datenmodellierung
DB nutzen
BI-Berichte erstellen
Vektorerzeugung
Datenmodell erstellen
Daten verfügbar machen
Datenpipeline verwalten
Datenanalyse
Application Function
Datenvisualisierung
Experiment Tracking
Datenvirtualisierung
Vektor-Embeddings nutzen
REST API
REST API (JSON)
SOAP API
Bilder
Importer
Anbindung Stream
Image Importer
PDF/DOCX
XLS
XML
CSV
SQL Extraktor
SQL Extraktor
SQL Extraktor
Importer
Bilder
PDF/Docs
CSV
Alerting-Serivce (copy)
Stream-Datenintegration (copy)
Visualisierung (copy)
SQL-Extraktion-Load-Datenintegration (copy)
Vector Management-Service
Daten Governance und Discovery Service
Modell-Versionierung & Freigabe -Service
Stream-Datenintegration Service
SQL-Extraktion-Load-Datenintegration (copy)
Aufgaben ausführen
Semantic Layer Service
Application Service
Secretverwaltung
LLM Embedding Service
Stream-Datenintegration (copy)
Report-Erstellung Service
Datenauswertung (copy)
Datenpipeline Orchestrierung Service
Datenanalyse
Report-Erstellung (copy)
n8n-Datenintegration (copy)
SQL-EL-Datenintegration Service
Report-Erstellung (copy)
NLP-Service (copy)
KI-Wissensdatenbank
Iceberg Tabellen erstellen
Alerting-Serivce
RAG Service
Datenauswertung Service
Policy und Zugriffsmanagement Service
Datenpipeline Orchestrierung Service
Aufgaben ausführen (copy)
Datenpipeline Management Service
n8n-Datenintegration (copy)
NLP Service
n8n-Datenintegration Service
Datenpipeline-Governance (copy)
Report-Erstellung
Datenvisualisierung und BI Service
RAG-Service (copy)
NLP-basierten Anwendungen Service
Lizens-Daten
VDS/PDS
Iceber
Iceberg-Tabelle
Iceberg Tabellen
Data Object
Images
Software-Defined Assets (SDAs)
Vektor-Embeddings
Tabellen
Iceberg Tabelle
SAM-Dateien
CSV
Bundesmaster
SAM-Tool (Behörden)
BSCW
Reseller -DB
SOAP API (XML)
Bundesmaster
SAM-Tool (Behörden)
Reseller-DB
JSON-Daten bereitstellen
CSV- und JSON-Daten bereitstellen
WebDAV
Reseller-Daten bereitstellen
BSCW
BSCW-Daten bereitstellen
SQL-Datenbanken
LLM
Embeddings
BI-Anwendung
Datenpipelines
Spark App
Iceberg-Tabellen/S3-Storage/SQL-Databases/Vektor-Embeddings
n8n-Workflow-Projekt
Iceberg-Tabelle
Dagster UI
Manifest
Artifact
Iceberg-Katalog
Docker Image
Dremio-Web UI
LangChain-App
S3-Objekte
Modelle
ML-Projekte
Metadata
SQL Konnektor
Iceberg-Katalog
Agent
Dashboard-Konfiguration
Dashboard
S3 -Objekte
Dashboard-App
Dashboard-Konfiguration
S3-Objekte
Dashboard
Chatbot UI
Open Metadata Container
n8n-Container
STACKIT Dremio
LangChain-Container
Docker Host
Wie?
Superset-Container
Ranger Container
Dagster Container
Datenintegration (copy)
STACKIT Object Storage
Ingestion-Container
Qdrant-Cluster
Datenbank-Container
Apache Iceberg Server
Airbyte-Container
STACKIT PostgreSQL
LLM-Container
Node
Node
Secret Manager
Apache Spark-Container
Data-Lake-Cluster
Container
Embedding Speicher
Chatbot-Container
Grafana Container
Container
Search Engine -Container
LLM Server
Airbyte
Datenbank
MLflow
Open Metadata UI
Crew AI
Dashboard Apache Supperset
ElasticSearch / OpenSearch
Dagster APIs
Dremio
Dremio Engine
Apache Spark
Apache Airflow
Superset App Server
LLM Engine
Object Storage
Chatbot-Engine
Apache Iceberg
Master & Coordinator
Datenbank
Relationale Datenbank
n8n
Datenbank
LLM
Power BI Service (SaaS)
System Software
Apache Iceberg
PostgreSQL
System Software
Phython
Open Metadata Server
Apache Ranger Server
LangChain
Dagster Superset-Webserver
Qdrant
Grafana (copy)
Technology Event
Import PDF/Docs (copy)
Import PDF/Docs
Import CSV
Import Stream-Daten
Import Data
Data Source- Anbindung
Strukturierter Datenbankspeicher
SQL Query Engine
EL-Porzesse erstellen
Metadaten-Management
Import Datenströme
SQL Datenbank
Embedding-Vektor-Speicher
Abfrage-Engine
Sicherheitsverwaltung
Data Source- Anbindung
Data-Source-Anbindung
Datenzugriff
Datenanbindung
Skalierbarer Datenspeicher
Data-Source-Anbindung (copy)
Data Source Anbingun
Query-Engine
Dashboard verwalten
Query-Verarbeitung und Optimierung
Speicherung Dashboards-Konfigurationen
ACID-Kofnormität
Anbindung LLM
Bereitstellung REST-APIs
Dashboard bereitstellen
Zugriffssteuerung
Data-Source-Anbindung
Data Source- Anbindung
Verwaltung Datentabellen
Vektorsuche (Similarity Search)
Abfrageoptimierung
Data-Source-Anbindung
Datenintegration erstellen
Technology Function
Anbindung LLM
Speicherung in Qdrant-Cluster
Iceberg Catalog Speicher
Bereitstellung Datenkatalog
Technology Function
Abfrage-Engine
Modelle verwalrten
Ausführung LLMs
API-Server
API-Anbindung
Orchestrierung Datenpipelines
Datenintragtion bereistellen
S3-kompatibler Objektspeicher
Query-Ausführungs
Indexierung
EL-Porzesse bereittstellen
API REST
CSV Importer
API Soap
SQL
PDF Improter
Technology Interface
Bilder Importer
Importer Datenströme
SQL-Query-API
Technology Interface
Chatbot-Bereitstellung
AI-Agent-Bereitstellung
Metadaten Mangement Service
Technology Service
Relationales Datenmanagement Service
Runtime-Umgebung AI-Agent
Dashboard-Bereitstellung
Technology Service
Orchestrierung Datenpipelines
Vektordatenbank Service
S3-Objekt-API Service
Anwendung
Logische Datenmodell
Anwendungen
Data Lake Einsatzsezanrio
Anwendungen
Applikationen für Datenanalysen
Stream-Endpunkte
Sicherheit
Konnektoren
n8n-Konnektoren
SQL-DB Einsatzszenario
Betriebumgebung
Betriebsumgebung
Batch-Prozessierung (copy)
Stream-Prozessierung (copy)
Grouping
API
Datenauswertung und Analyse (Auswertungsschicht)
Airbyte Integrationen EL-Endpunkte
Stream-Prozessierung (copy)
Source
Batch-Prozessierung (copy)
Querschnittsdienste Sicherheit & Governance
Speicherung
n8n-Endpunkte
Betriebsumgebung
Querschnittsdienste Sicherheit & Governance
Ingestion Layer (Aufnahmeschicht) (copy)
Ingestion Layer (Aufnahmeschicht)
Stream-Prozessierung
Anwendungen
Connector
Querschnittsdienste Datenorchestrierung
Batch-Prozessierung
Semantic analyse
Querschnittsdienste Steuerung und Sicherheit
Sematic Layer
Grouping
Self-Service Business Analyicts Layer (Auswertungsschicht)
Betriebsumgebung
Vektordatenbanken-Einsatzszenario
Processing und Analytics (Verarbeitungsschicht))
STACKIT-Betriebsumgebung
Storage Layer (Speicherschicht)
Junction
SRACKIT-Betriebsumgebung
Grouping
Datenquellen
Datenobjekte
Read (Datenanbindung - Iceberg-Katalog)
(Dagstar-Datenpipeline - Software-Defined Assets (SDAs))
Read (STACKIT-SaaS Dremio - Iceberg Tabelle)
(Dashboard Apache Supperset - Dashboard-Konfiguration)
(MLflow - Modelle)
(Data Source- Anbindung - Iceberg-Tabellen/S3-Storage/SQL-Databases/Vektor-Embeddings)
(Apache Iceberg - S3 -Objekte)
(Generische Applikation - Tabellen)
(Dashboard bereitstellen - Dashboard-Konfiguration)
(Data-Source-Anbindung - Iceberg-Tabellen/S3-Storage/SQL-Databases/Vektor-Embeddings)
(API-Anbindung - Dashboard-Konfiguration)
Read/Write (Generische Applikation - SAM-Dateien)
(API-Anbindung - Dashboard-Konfiguration)
(Data Source- Anbindung - Iceberg-Tabellen/S3-Storage/SQL-Databases/Vektor-Embeddings)
(Data Source Anbingun - Iceberg-Tabellen/S3-Storage/SQL-Databases/Vektor-Embeddings)
Read (Datenanbindung - S3-Objekte)
Write (Apache Iceberg - Iceberg-Katalog)
(Embedding Speicher - Embeddings)
(Data-Source-Anbindung - Iceberg-Tabellen/S3-Storage/SQL-Databases/Vektor-Embeddings)
(API-Anbindung - Iceberg-Tabellen/S3-Storage/SQL-Databases/Vektor-Embeddings)
(Vektormanagement Application - Vektor-Embeddings)
(Abfrage-Engine - Iceberg-Tabellen/S3-Storage/SQL-Databases/Vektor-Embeddings)
( S3-Objekt-API Service - Data Lake Einsatzsezanrio)
(Query-Ausführungs - Iceberg-Katalog)
Read/Write (STACKIT-SaaS Dremio - VDS/PDS)
(Data Source- Anbindung - Iceberg-Tabellen/S3-Storage/SQL-Databases/Vektor-Embeddings)
Read (Apache Iceberg - S3-Objekte)
(Query-Ausführungs - S3-Objekte)
Read/Write (Object Storage - S3-Objekte)
(Iceberg - Iceberg Tabellen)
(Superset-Dashboards - Lizens-Daten)
(Data-Source-Anbindung - Iceberg-Tabellen/S3-Storage/SQL-Databases/Vektor-Embeddings)
(Anbindung LLM - LLM)
(Dagster Plattform - Software-Defined Assets (SDAs))
(Batch-Prozessierung (copy) - n8n-Datenintegration (copy))
(Storage Layer (Speicherschicht) - Relationales Datenmanagement Service)
(Betriebsumgebung - Ranger Container)
(Querschnittsdienste Sicherheit & Governance - Daten Governance und Discovery Service )
(Chatbot-Container - Chatbot-Engine)
(n8n-Endpunkte - SOAP API)
(Anwendungen - BI -Service)
(Anwendungen - Chatbot-Bereitstellung)
(Anwendungen - Dashboard-Bereitstellung)
(Storage Layer (Speicherschicht) - Vektordatenbank Service)
(Betriebsumgebung - Datenbank-Container)
(Data Lake Einsatzsezanrio - SAM-Dateien)
(n8n-Endpunkte - PDF/Docs)
(Stream-Prozessierung - Stream-Datenintegration Service)
(Processing und Analytics (Verarbeitungsschicht)) - Datenkatalog und Nachvollziehbarkeit)
(Semantic analyse - STACKIT Dremio )
(Betriebumgebung - Apache Spark-Container)
(SQL-DB Einsatzszenario - Relationales Datenmanagement Service)
(Storage Layer (Speicherschicht) - Zentrales Datenarchiv)
(Konnektoren - REST API)
(n8n-Konnektoren - CSV)
(SQL-DB Einsatzszenario - Generische Applikation )
(Anwendungen - Container)
(The Crew - Crew AI-Agent)
(Applikationen für Datenanalysen - MLflow Platform)
(Anwendungen - Apache Ranger)
(Batch-Prozessierung (copy) - n8n-Datenintegration (copy))
(Daten konsumieren und auswerten - <Example>Lizenzauswertung)
(Self-Service Business Analyicts Layer (Auswertungsschicht) - Datenauswertung Service)
(n8n-Konnektoren - PDF/DOCX)
(Anwendungen - Chatbot-Container)
(Storage Layer (Speicherschicht) - STACKIT Object Storage)
( n8n-Node - Ingestion Layer (Aufnahmeschicht))
(n8n-Konnektoren - REST API (JSON))
(Airbyte-Container - Airbyte)
(Konnektoren - Importer Datenströme)
(Ingestion Layer (Aufnahmeschicht) (copy) - Stream-Prozessierung (copy))
(Betriebsumgebung - Chatbot-Container)
(Datenauswertung und Analyse (Auswertungsschicht) - RAG Service)
(Open Metadata Container - Open Metadata Server)
(n8n-Endpunkte - SQL Extraktor)
(Querschnittsdienste Steuerung und Sicherheit - Dagster Container)
(Konnektoren - API REST)
(Sicherheit - Secretverwaltung)
(Datenauswertung und Analyse (Auswertungsschicht) - Alerting-Serivce)
(Querschnittsdienste Sicherheit & Governance - Policy und Zugriffsmanagement Service)
(Ingestion Layer (Aufnahmeschicht) - n8n-Vektor-Encoder)
(n8n-Endpunkte - CSV)
(Container - Crew AI)
(n8n-Konnektoren - XLS)
(The Crew - Crew AI-Agent)
(Konnektoren - Import Data)
( - n8n-Datenintegration Service)
(Datenauswertung und Analyse (Auswertungsschicht) - Datenauswertung (copy))
(Logische Datenmodell - Iceberg)
(n8n-Endpunkte - Datenintegration SQL)
(Processing und Analytics (Verarbeitungsschicht)) - Datenbereitstellung)
(Superset-Container - Dashboard Apache Supperset)
(Ranger Container - Apache Ranger Server)
(Querschnittsdienste Sicherheit & Governance - Open Metadata Container)
(n8n-Endpunkte - Datenintegration Images)
(Datenauswertung und Analyse (Auswertungsschicht) - Aufgaben ausführen (copy))
(Processing und Analytics (Verarbeitungsschicht)) - Semantic Layer Service)
(Datenintegration Images - Image Importer)
(Betriebumgebung - Apache Iceberg Server)
(Anwendungen - Superset-Container)
(Dagster Container - Dagster Superset-Webserver)
(Self-Service Business Analyicts Layer (Auswertungsschicht) - NLP-basierten Anwendungen Service)
(STACKIT Object Storage - Object Storage)
(Batch-Prozessierung - SQL-EL-Datenintegration Service)
(Generische Datenpipeline - Daten konsumieren und auswerten)
(Ingestion Layer (Aufnahmeschicht) - Stream-Datenintegration Service)
(Betriebsumgebung - Dashboard-App)
(Querschnittsdienste Steuerung und Sicherheit - Datenpipeline Management Service)
(Querschnittsdienste Sicherheit & Governance - Zentrale Zugriffstelle)
(Batch-Prozessierung (copy) - SQL-Extraktion-Load-Datenintegration (copy))
(Datenauswertung und Analyse (Auswertungsschicht) - Visualisierung (copy))
(Data Lake Einsatzsezanrio - CSV)
(Open Metadata Container - Relationale Datenbank)
(Anwendungen - Chatbot)
(Vektordatenbanken-Einsatzszenario - Vektordatenbank Service)
(Processing und Analytics (Verarbeitungsschicht)) - Vector Management-Service)
(Ingestion Layer (Aufnahmeschicht) - Batch-Prozessierung)
(REST API - n8n-Endpunkte)
(Datenauswertung und Analyse (Auswertungsschicht) - NLP Service)
(Anwendungen - LangChain-Framework)
(Datenauswertung und Analyse (Auswertungsschicht) - NLP-basierten Anwendungen Service)
(Ingestion Layer (Aufnahmeschicht) - Apache Spark-Container)
(Batch-Prozessierung - n8n-Datenintegration Service)
(Open Metadata Container - ElasticSearch / OpenSearch)
(Konnektoren - Import CSV)
(Speicherung - Vektordatenbanken-Einsatzszenario)
(Applikationen für Datenanalysen - STACKIT-SaaS Dremio )
(Speicherung - SQL-DB Einsatzszenario)
(Self-Service Business Analyicts Layer (Auswertungsschicht) - Report-Erstellung )
(Stream-Prozessierung (copy) - Stream-Datenintegration (copy))
(Storage Layer (Speicherschicht) - Qdrant-Cluster)
(Querschnittsdienste Datenorchestrierung - Datenpipeline Management Service)
(Konnektoren - Datenintegration (copy))
(Datenauswertung und Analyse (Auswertungsschicht) - Datenauswertung Service)
(Konsumieren - <Example>Lizenzauswertung)
( - Stream-Prozessierung (copy))
(Self-Service Business Analyicts Layer (Auswertungsschicht) - Datenvisualisierung und BI Service)
(Ingestion Layer (Aufnahmeschicht) - Stream-Prozessierung)
(Container - MLflow)
(Open Metadata Container - Search Engine -Container)
(Querschnittsdienste Steuerung und Sicherheit - Datenprozess-Steuerung und Governance)
(Konnektoren - PDF Improter)
(Datenauswertung und Analyse (Auswertungsschicht) - Aufgaben ausführen)
(Querschnittsdienste Sicherheit & Governance - Secret Manager)
(Storage Layer (Speicherschicht) - Strukturierte Datenbank)
(Docker Host - Grafana Container)
(Betriebsumgebung - LangChain-Container)
(Data Lake Einsatzsezanrio - S3-Objekt-API Service)
(Querschnittsdienste Steuerung und Sicherheit - Querschnittsdienste Sicherheit & Governance)
(Data Lake Einsatzsezanrio - Images)
( - Stream-Datenintegration Service)
(Datenauswertung und Analyse (Auswertungsschicht) - Report-Erstellung (copy))
(Ingestion Layer (Aufnahmeschicht) - n8n-Node)
(Ingestion Layer (Aufnahmeschicht) - n8n-Datenintegration Service)
(Storage Layer (Speicherschicht) - STACKIT PostgreSQL)
(Datenauswertung und Analyse (Auswertungsschicht) - Report-Erstellung Service)
(Datenauswertung und Analyse (Auswertungsschicht) - Alerting-Serivce (copy))
(Anwendung - Dagstar-Datenpipeline)
(Querschnittsdienste Sicherheit & Governance - Ranger Container)
(Konnektoren - REST API)
(n8n-Konnektoren - Bilder)
(Speicherung - Data Lake Einsatzsezanrio)
(Stream-Endpunkte - Importer Datenströme)
(Processing und Analytics (Verarbeitungsschicht)) - KI-Sprachmodell)
(STACKIT Dremio - Dremio)
(Qdrant-Cluster - Qdrant )
(Anwendung - Dagster Plattform)
(Anwendungen - LLM Embedding)
(Konnektoren - Stream-Endpunkte)
(STACKIT-Betriebsumgebung - STACKIT Dremio )
(Superset-Container - Datenbank)
(Airbyte-Container - n8n)
(Node - Airbyte)
(STACKIT Object Storage - Betriebumgebung)
(Anwendungen - STACKIT-SaaS Dremio )
(Betriebumgebung - n8n-Container)
(Storage Layer (Speicherschicht) - S3-Objekt-API Service)
(Batch-Prozessierung (copy) - SQL-Extraktion-Load-Datenintegration (copy))
(Processing und Analytics (Verarbeitungsschicht)) - LLM Embedding Service)
(Betriebumgebung - Airbyte-Container)
(Betriebsumgebung - Ingestion-Container)
(Stream-Prozessierung (copy) - Stream-Datenintegration (copy))
(Ingestion Layer (Aufnahmeschicht) - SQL-EL-Datenintegration Service)
(Konnektoren - Airbyte Integrationen EL-Endpunkte)
(Storage Layer (Speicherschicht) - Metadaten Mangement Service)
(Self-Service Business Analyicts Layer (Auswertungsschicht) - Aufgaben ausführen)
(Querschnittsdienste Steuerung und Sicherheit - Datenpipeline Orchestrierung Service)
(Datenauswertung und Analyse (Auswertungsschicht) - Report-Erstellung (copy))
(Anwendungen - Open Metadata Plattform)
(Querschnittsdienste Datenorchestrierung - Datenpipeline Orchestrierung Service)
( - Batch-Prozessierung (copy))
(Konnektoren - CSV Importer)
(n8n-Konnektoren - XML)
(Open Metadata Container - Datenbank-Container)
(Betriebsumgebung - Search Engine -Container)
(Storage Layer (Speicherschicht) - KI-Wissensdatenbank)
(Datenauswertung und Analyse (Auswertungsschicht) - Datenvisualisierung und BI Service)
(Self-Service Business Analyicts Layer (Auswertungsschicht) - KI-Assistenzsystem)
(Self-Service Business Analyicts Layer (Auswertungsschicht) - Alerting-Serivce)
(LangChain-Container - LLM)
(Betriebumgebung - STACKIT Object Storage)
(Betriebumgebung - STACKIT PostgreSQL)
(Konnektoren - Import PDF/Docs)
(n8n-Endpunkte - REST API)
(Open Metadata Container - Ingestion-Container)
(STACKIT Object Storage - Apache Iceberg)
(Self-Service Business Analyicts Layer (Auswertungsschicht) - Datenauswertung)
(Betriebsumgebung - Superset-Container)
(Stream-Endpunkte - Datenintegration Stream)
(Konnektoren - SQL)
(Ranger Container - Datenbank)
(Konnektoren - Import Stream-Daten)
(Self-Service Business Analyicts Layer (Auswertungsschicht) - Report-Erstellung Service)
(Betriebsumgebung - LLM-Container)
(Anwendungen - The Crew)
(n8n-Container - n8n)
(Betriebsumgebung - Dagster Container)
(Querschnittsdienste Steuerung und Sicherheit - Daten Governance und Discovery Service )
(Semantic analyse - Container)
(Ingestion Layer (Aufnahmeschicht) - n8n-Container)
(Ingestion Layer (Aufnahmeschicht) - Airbyte-Container)
(Processing und Analytics (Verarbeitungsschicht)) - Modell-Versionierung & Freigabe -Service)
(Airbyte Integrationen EL-Endpunkte - Datenintegration SQL)
(n8n-Endpunkte - Bilder)
(Konnektoren - Bilder Importer)
(Applikationen für Datenanalysen - Embedding )
(Vektordatenbanken-Einsatzszenario - Vektormanagement Application)
(Querschnittsdienste Steuerung und Sicherheit - Policy und Zugriffsmanagement Service)
(Konnektoren - n8n-Endpunkte)
(Betriebumgebung - Qdrant-Cluster)
( - SQL-EL-Datenintegration Service)
(Anwendungen - Superset-Dashboards)
(Ingestion Layer (Aufnahmeschicht) (copy) - Batch-Prozessierung (copy))
(Betriebsumgebung - Open Metadata Container)
(Stream-Endpunkte - Anbindung Stream)
(Crew AI-Agent - Web Scraping)
(Master & Coordinator - Dremio-Web UI)
(Zentrale Zugriffstelle - Zugriffe steuern)
(Strukturierte Datenbank - Relationale Daten speichern)
(Datenkatalog und Nachvollziehbarkeit - Datenkatalog verwalten)
(Airbyte - EL-Porzesse bereittstellen)
(MLflow - )
(Airbyte - EL-Porzesse erstellen)
(Dashboard Apache Supperset - Query-Engine)
(Datenauswertung - BI-Berichte erstellen)
(Chatbot-Engine - Data Source- Anbindung)
(Dashboard Apache Supperset - Dashboard)
(LangChain - Data Source- Anbindung)
(STACKIT-SaaS Dremio - Datenanalyse (SQL-Abfragen))
(Datenbank-Container - Relationale Datenbank)
(Dashboard Apache Supperset - Speicherung Dashboards-Konfigurationen )
(n8n-Container - n8n-Workflow-Projekt)
(Superset-Container - Dashboard)
(Dagster Plattform - Asset Management)
(Zentrales Datenarchiv - S3-Objekte speichern)
(Dagster Container - Datenbank)
(Crew AI-Agent - Aufgaben ausführen)
(Dashboard Apache Supperset - Data Source- Anbindung)
(Apache Spark-Container - Spark App)
(LangChain-Framework - Erstellung NLP-basierte Chains)
(Crew AI-Agent - Aufgaben ausführen)
(LangChain-Framework - Datenabruf und Textgenerierung)
(Open Metadata Plattform - Daten-Assets erfassen)
(LLM-Container - LLM)
(Ingestion-Container - Apache Airflow)
(Crew AI - Data-Source-Anbindung)
(STACKIT-SaaS Dremio - Datenvirtualisierung)
(Chatbot-Container - Chatbot UI)
(Apache Iceberg - Bereitstellung Datenkatalog)
(Crew AI - Agent)
(Datenbereitstellung - Daten verfügbar machen)
(Power BI Service (SaaS) - Datenzugriff)
(MLflow - Modelle verwalrten)
(Qdrant - Embedding-Vektor-Speicher)
(n8n - Datenintragtion bereistellen)
(LLM Embedding - LLM verwalten)
(Apache Ranger - Protokollierung und Logging)
(Apache Iceberg - SQL Query Engine)
(Chatbot - Dialog Management)
(Container - ML-Projekte)
(MLflow Platform - Experiment Tracking)
(Apache Ranger Server - Zugriffssteuerung)
(KI-Sprachmodell - Sprachmodelle bereitstellen)
(Dremio Engine - Query-Ausführungs )
(STACKIT-SaaS Dremio - Datenanalyse)
(Power BI Service (SaaS) - Abfrage-Engine)
(Apache Iceberg - Metadaten-Management)
(Superset App Server - Data Source Anbingun)
(KI-Wissensdatenbank - Vektoren speichern)
(LLM Engine - Data-Source-Anbindung)
(Master & Coordinator - Query-Verarbeitung und Optimierung)
(Dashboard Apache Supperset - API-Anbindung)
(LLM Engine - Abfrage-Engine)
(Dashboard Apache Supperset - Dashboard bereitstellen)
(LLM Server - Ausführung LLMs)
(Apache Ranger Server - Sicherheitsverwaltung)
(Wie? - BI-Anwendung)
(Iceberg - Datenmodell erstellen)
(Open Metadata Server - Bereitstellung REST-APIs)
(BI -Service - Datenmodellierung)
(MLflow Platform - Model Management)
(STACKIT Dremio - S3-Objekte)
(PostgreSQL - ACID-Kofnormität)
(Dagster Plattform - Datenpipeline verwalten)
(Dremio - Abfrageoptimierung)
(PostgreSQL - Strukturierter Datenbankspeicher)
(Object Storage - S3-kompatibler Objektspeicher)
(Search Engine -Container - ElasticSearch / OpenSearch)
(Dagster Superset-Webserver - Orchestrierung Datenpipelines )
(Superset-Container - Docker Image)
(Superset-Container - Dashboard-App)
(Wie? - Data-Source-Anbindung)
(n8n-Vektor-Encoder - Vektor-Embeddings erzeugen)
(Open Metadata Plattform - Metadaten verwalten)
(Apache Spark - Import Datenströme)
(Datenauswertung - Daten visualisieren)
(PostgreSQL - )
(Dagster Container - Dagster UI)
(LLM Engine - Anbindung LLM)
(Dagstar-Datenpipeline - Datenpipeline verwalten)
(Apache Iceberg - Verwaltung Datentabellen)
(Datenprozess-Steuerung und Governance - Datenpipelines verwalten )
(LangChain-Framework - Prompt- und Output-Steuerung)
(KI-Assistenzsystem - Dokumente suchen)
(Superset-Dashboards - BI-Analysen)
(Crew AI - Anbindung LLM)
(Superset-Dashboards - Datenvisualisierung)
(Open Metadata Container - Open Metadata UI)
(Wie? - Power BI Service (SaaS))
(Superset-Container - API-Anbindung)
( n8n-Node - Datenintegration durchführen)
(Qdrant - Vektorsuche (Similarity Search))
(LangChain-Container - LangChain-App)
(Datenbank-Container - ElasticSearch / OpenSearch)
(LLM Server - Speicherung in Qdrant-Cluster)
(MLflow Platform - Model Deployment)
(Dagster Container - Datenpipelines)
(Apache Iceberg - )
(Embedding - Embeddings verwalten)
(BI -Service - ETL)
(Dagster APIs - Datenanbindung)
(LLM Embedding - Vektorerzeugung)
(Qdrant - Indexierung)
(Dagstar-Datenpipeline - Datenpipeline auführen)
(Grafana (copy) - Data-Source-Anbindung (copy))
(Apache Iceberg - Iceberg Catalog Speicher)
(Power BI Service (SaaS) - Data-Source-Anbindung)
(KI-Assistenzsystem - Prompts verarbeiten)
(n8n - Datenintegration erstellen)
(Dremio - Query-Ausführungs )
(Chatbot - Dokumente analysieren)
(Airbyte-Container - SQL Konnektor)
(Object Storage - Skalierbarer Datenspeicher)
(Apache Ranger - Überwachung Sicherheitsrichtlinien (Policy Management))
(Dagster Plattform - Logging und Monitoring)
(Open Metadata Server - Metadaten verwalten)
(Apache Spark-Container - Importer Datenströme)
(STACKIT PostgreSQL - PostgreSQL)
(n8n-Endpunkte - Datenintegration PDF/DOCs)
(Data Lake Einsatzsezanrio - Generische Applikation)
(Datenauswertung und Analyse (Auswertungsschicht) - RAG-Service (copy))
(n8n-Container - API Soap)
(Ingestion Layer (Aufnahmeschicht) - n8n-Workflow-Projekt)
(Apache Spark-Container - Apache Spark)
( n8n-Node - n8n-Konnektoren)
(STACKIT Dremio - SQL-Query-API)
(Datenintegration SQL - SQL Extraktor )
(Data Ingestion (Datenaufnahme) - Laden)
(Airbyte-Container - SQL)
(Apache Iceberg Server - Apache Iceberg)
(Data Ingestion (Datenaufnahme) - (Soft-Transformation))
(Datenintegration Stream - Anbindung Stream)
(Self-Service Business Analyicts Layer (Auswertungsschicht) - RAG Service)
(Generische Datenpipeline - Transformation)
(Iceberg-Tabelle - Metadata)
( n8n-Node - REST API (JSON))
(n8n-Container - PDF Improter)
(n8n-Container - API REST)
(Datenpipeline (copy) - Konsumieren (copy))
(Datenauswertung und Analyse (Auswertungsschicht) - NLP-Service (copy))
(n8n-Endpunkte - Datenintegrationen via REST API)
(Daten konsumieren - <Example>Lizenzauswertung)
(Self-Service Business Analyicts Layer (Auswertungsschicht) - NLP Service)
(Superset-Container - Superset App Server)
(Datenpipeline (copy) - Extraktion (copy))
(Chatbot-Container - LLM Engine)
(Generische Datenpipeline - Datenverarbeitung und Datenanalyse)
(Datenintegration PDF/DOCs - Importer )
(Dagster Container - Dagster APIs)
(n8n-Container - CSV Importer)
(Generische Datenpipeline - Transformation)
(Generische Datenpipeline - Data Ingestion (Datenaufnahme))
(Iceberg-Katalog - Iceberg-Tabelle)
(Data Ingestion (Datenaufnahme) - Extraktion)
(Datenintegration SQL - SQL Extraktor)
(Datenpipeline (copy) - Load (copy))
(Datenpipeline (copy) - Transformation (copy))
(STACKIT Dremio - Master & Coordinator)
(n8n-Endpunkte - Datenintegration CSV)
(Grafana Container - Grafana (copy))
(Generische Datenpipeline - Extraktion)
(Generische Datenpipeline - Analyse)
(Datenpipeline (copy) - Speicherung (copy))
(Datenpipeline (copy) - Analyse (copy))
(Metadata - Manifest)
(STACKIT Dremio - Dremio Engine)
(Datenintegrationen via REST API - REST API)
(Generische Datenpipeline - Speicherung)
(LangChain-Container - LangChain)
(Datenintegration CSV - Importer)
(n8n-Container - Bilder Importer)
(Container - Phython)
(n8n-Endpunkte - Datenintegration SOAP API)
(Betriebumgebung - Iceberg-Katalog)
(n8n-Container - SQL)
(Datenintegration SOAP API - SOAP API)
(Generische Datenpipeline - Laden)
(Generische Datenpipeline - Konsumieren)
(Storage Layer (Speicherschicht) - Processing und Analytics (Verarbeitungsschicht)))
(Daten verfügbar machen - Datenauswertung)
(Daten verfügbar machen - Daten visualisieren)
(Extraktion - Laden)
(Daten verfügbar machen - Sprachmodelle bereitstellen)
(Transformation - Speicherung)
(Datenintegration durchführen - S3-Objekte speichern)
((Soft-Transformation) - Laden)
(Vektor-Embeddings erzeugen - Vektoren speichern)
(S3-Objekte speichern - Daten verfügbar machen)
(Speicherung - Transformation)
(Ingestion Layer (Aufnahmeschicht) - Storage Layer (Speicherschicht))
(Extraktion - (Soft-Transformation))
(Processing und Analytics (Verarbeitungsschicht)) - Self-Service Business Analyicts Layer (Auswertungsschicht))
(Transformation - Datenverarbeitung und Datenanalyse)
(Datenkatalog verwalten - Datenauswertung)
(Data Ingestion (Datenaufnahme) - Speicherung)
(Strukturierte Datenbank - Daten verfügbar machen)
(Zugriffe steuern - Datenauswertung)
(Storage Layer (Speicherschicht) - Self-Service Business Analyicts Layer (Auswertungsschicht))
(Zentrale Zugriffstelle - Zugriffe steuern)
(Speicherung - Analyse)
(Laden - Transformation)
(Load (copy) - Transformation (copy))
(Datenintegration durchführen - Vektor-Embeddings erzeugen)
(Datenintegration durchführen - Relationale Daten speichern)
(Zugriffe steuern - KI-Assistenzsystem)
(Transformation (copy) - Speicherung (copy))
(Analyse - Konsumieren)
(Datenverarbeitung und Datenanalyse - Daten konsumieren und auswerten)
(Sprachmodelle bereitstellen - KI-Assistenzsystem)
(Speicherung (copy) - Analyse (copy))
(Analyse (copy) - Konsumieren (copy))
(Extraktion (copy) - Load (copy))
(Qdrant-Cluster - Vektordatenbank Service)
(Superset-Dashboards - Alerting-Serivce)
(Chatbot UI - Chatbot)
(Power BI Service (SaaS) - BI -Service)
(Superset-Dashboards - Datenvisualisierung und BI Service)
(Apache Spark - Anbindung Stream)
(Chatbot - RAG Service)
(Dagster Container - Dagster Plattform)
(BI -Service - Datenvisualisierung und BI Service)
(n8n - Connector)
(S3-Objekte - VDS/PDS)
(Iceberg-Katalog - VDS/PDS)
(Dashboard-Konfiguration - Superset-Dashboards)
(Wie? - BI -Service)
(Apache Iceberg - Metadaten Mangement Service)
(Querschnittsdienste Steuerung und Sicherheit - Orchestrierung Datenpipelines)
(Dagster Plattform - Datenpipeline Management Service)
(n8n-Workflow-Projekt - n8n-Endpunkte)
(MLflow Platform - Modell-Versionierung & Freigabe -Service)
(LLM Embedding - LLM Embedding Service)
(Connector - n8n-Endpunkte)
(LangChain-App - LangChain-Framework)
(Stream-Endpunkte - Stream-Datenintegration Service)
(S3-Objekte - SAM-Dateien)
(STACKIT-SaaS Dremio - Semantic Layer Service)
(Anwendungen - Report-Erstellung Service)
(Ranger Container - Policy und Zugriffsmanagement Service)
(Apache Ranger - Policy und Zugriffsmanagement Service)
(Airbyte - n8n-Endpunkte)
(ML-Projekte - MLflow Platform)
(BI -Service - Report-Erstellung Service)
(LLM Server - LLM Embedding)
(Datenpipelines - Dagstar-Datenpipeline)
(The Crew - Aufgaben ausführen)
(Embedding Speicher - Embedding )
(S3-Objekte - STACKIT-SaaS Dremio )
(Anwendungen - Crew AI-Agent)
(Airbyte Integrationen EL-Endpunkte - SQL-EL-Datenintegration Service)
(Dashboard-App - Superset-Dashboards)
(Embedding - Vector Management-Service)
(n8n-Endpunkte - n8n-Datenintegration Service)
(Applikationen für Datenanalysen - Datenverarbeitung und Datenanalyse)
(Superset-Dashboards - Datenauswertung Service)
(Secret Manager - Secretverwaltung)
(Konnektoren - Data Ingestion (Datenaufnahme))
(n8n - SQL Extraktor)
(n8n-Container - Connector)
(Grafana Container - Grafana)
(Container - Crew AI-Agent)
(Chatbot - NLP Service)
(S3-Objekte - Software-Defined Assets (SDAs))
(BI -Service - Datenauswertung Service)
(Open Metadata Container - Open Metadata Plattform)
(Spark App - Stream-Endpunkte)
(SQL Konnektor - Airbyte Integrationen EL-Endpunkte)
(Iceberg-Katalog - Software-Defined Assets (SDAs))
(Open Metadata Container - Daten Governance und Discovery Service )
(Superset-Container - Technology Service)
(STACKIT Object Storage - S3-Objekt-API Service)
(LangChain-Framework - NLP-basierten Anwendungen Service)
(Dagstar-Datenpipeline - Datenpipeline Orchestrierung Service)
(S3 -Objekte - Iceberg Tabellen)
(Open Metadata UI - Open Metadata Plattform)
(Container - MLflow Platform)
(STACKIT PostgreSQL - Relationales Datenmanagement Service)
(Container - The Crew)
(Superset-Container - Superset-Dashboards)
(Dremio-Web UI - STACKIT-SaaS Dremio )
(Dagster UI - Dagster Plattform)
(BI-Anwendung - BI -Service)
(Ranger Container - Apache Ranger)
(Open Metadata Plattform - Daten Governance und Discovery Service )
( S3-Objekt-API Service - S3 Storage nutzen)
(Processing und Analytics (Verarbeitungsschicht)) - Datenverarbeitung und Datenanalyse)
(Speicherung - Speicherung)
(Datenpipeline Orchestrierung Service - Datenpipeline)
(Alerting-Serivce - Daten konsumieren und auswerten)
(Datenpipelines verwalten - Daten verfügbar machen)
(Apache Spark-Container - Stream-Endpunkte)
(Vektordatenbank Service - Speicherung)
( NLP-basierten Anwendungen Service - Daten konsumieren und auswerten)
(SQL-EL-Datenintegration Service - Data Ingestion (Datenaufnahme))
(Metadaten Mangement Service - Speicherung)
(Self-Service Business Analyicts Layer (Auswertungsschicht) - Daten konsumieren und auswerten)
(Technology Service - Superset-Dashboards)
(Report-Erstellung Service - Daten konsumieren und auswerten)
(<Example>Lizenzauswertung - Daten konsumieren und auswerten)
(Semantic Layer Service - Transformation)
(Relationales Datenmanagement Service - SQL-DB Einsatzszenario)
(LLM Embedding Service - Datenverarbeitung und Datenanalyse)
( S3-Objekt-API Service - Speicherung)
(Vektordatenbank Service - Vektor-Embeddings nutzen)
(Dagster Container - Anwendungen)
(LLM - LangChain)
(Storage Layer (Speicherschicht) - Speicherung)
(Dagster Container - Semantic analyse)
(Relationales Datenmanagement Service - Speicherung)
(Datenauswertung Service - <Example>Lizenzauswertung)
(NLP Service - Daten konsumieren und auswerten)
(Modell-Versionierung & Freigabe -Service - Datenverarbeitung und Datenanalyse)
(Vektoren speichern - Sprachmodelle bereitstellen)
(Dagster Container - Storage Layer (Speicherschicht))
(Semantic Layer Service - Datenverarbeitung und Datenanalyse)
( S3-Objekt-API Service - Speicherung)
(Ingestion-Container - Open Metadata Container)
(n8n-Datenintegration Service - Data Ingestion (Datenaufnahme))
(Daten verfügbar machen - Datenkatalog verwalten)
(RAG Service - Daten konsumieren und auswerten)
(Ingestion Layer (Aufnahmeschicht) - Data Ingestion (Datenaufnahme))
(Metadaten Mangement Service - Datenmodell erstellen)
(Search Engine -Container - Open Metadata Container)
(Datenpipeline Management Service - Datenpipeline)
(Storage Layer (Speicherschicht) - Transformation)
(Processing und Analytics (Verarbeitungsschicht)) - Transformation)
(Dagster Container - Ingestion Layer (Aufnahmeschicht))
(Open Metadata Container - Daten Governance und Discovery Service )
(Datenvisualisierung und BI Service - Daten konsumieren und auswerten)
(Vector Management-Service - Datenverarbeitung und Datenanalyse)
(Datenpipelines verwalten - Datenintegration durchführen)
(Superset-Dashboards - <Example>Lizenzauswertung)
(Aufgaben ausführen - Daten konsumieren und auswerten)
(Datenauswertung Service - Daten konsumieren und auswerten)
(Datenbank-Container - Open Metadata Container)
(Stream-Datenintegration Service - Data Ingestion (Datenaufnahme))
( n8n-Node - Data Ingestion (Datenaufnahme))
(Relationales Datenmanagement Service - DB nutzen)
(SQL Konnektor - Airbyte Integrationen EL-Endpunkte)
(Self-Service Business Analyicts Layer (Auswertungsschicht) - Daten konsumieren und auswerten)
(Querschnittsdienste Steuerung und Sicherheit - Zentrale Zugriffstelle)
(Querschnittsdienste Steuerung und Sicherheit - Self-Service Business Analyicts Layer (Auswertungsschicht))
(Querschnittsdienste Steuerung und Sicherheit - Processing und Analytics (Verarbeitungsschicht)))
(Querschnittsdienste Steuerung und Sicherheit - Storage Layer (Speicherschicht))
(Querschnittsdienste Steuerung und Sicherheit - Ingestion Layer (Aufnahmeschicht))
(SRACKIT-Betriebsumgebung - STACKIT Object Storage)
(SRACKIT-Betriebsumgebung - STACKIT PostgreSQL)
(Datenquellen - Bundesmaster)
(Bundesmaster - REST API (JSON))
(Datenquellen - SAM ToolBehörden)
(Datenquellen - Reseller)
(Datenquellen - Bundesmaster)
(Datenquellen - SAM-Tool (Behörden))
(Datenquellen - BSCW)
(Datenquellen - Reseller -DB)
(BSCW - Bilder)
(Bundesmaster - REST API (JSON))
(n8n-Konnektoren - SOAP API (XML))
(Datenquellen - Bundesmaster)
(JSON-Daten bereitstellen - REST API (JSON))
(Datenquellen - SAM-Tool (Behörden))
(CSV- und JSON-Daten bereitstellen - CSV)
(SAM-Tool (Behörden) - REST API (JSON))
(Datenquellen - Reseller-DB)
(Bundesmaster - JSON-Daten bereitstellen)
(SAM-Tool (Behörden) - CSV- und JSON-Daten bereitstellen)
(CSV- und JSON-Daten bereitstellen - REST API (JSON))
(n8n-Konnektoren - WebDAV)
(Reseller-DB - Reseller-Daten bereitstellen)
(Reseller-Daten bereitstellen - CSV)
(BSCW - BSCW-Daten bereitstellen)
(Datenquellen - BSCW)
(BSCW-Daten bereitstellen - WebDAV)
(n8n-Konnektoren - SQL-Datenbanken)
DataLakeSchichtenArchitektur
DataLakeDataGovernanceLayer
DataLakeDataStorageLayer
DataLakeDataOrchestrierungsLayer
DataLakeÖkosystemServiceDatapipelineMap
DataLakeDataAnalyticsSemanticLayer
DataLakeDataIngestionLayer
DataLakeDataConsumerLayer
DataLakeUseCases
DataLakeUseCases
DataLakeProzesse
DataLakeChainOfFunctionsView
×
Archi®
×