Releases · netxs2000/devops

Dagster (编排) + dbt (转换) + Great Expectations (治理) + Streamlit (展示)，目前业界顶尖的 Modern Data Stack (MDS) 组合！
dbt实现“数据建模”和“语义转换”
Great Expectations数据质量治理 (数据质量的“法官”)
Dogster编排引擎，实现软件定义资产（Software-Defined Assets）
Streamlit实现代码即 BI (Headless BI)

后续计划：
数据治理与元数据管理：引入 DataHub（全链路血缘可视化）
深挖数据洞察：引入 Jupyter + PyGWalker（交互式探索）
数据清洗与增强：引入 DuckDB（内存计算之王）
高性能仪表盘补强：引入 Apache Superset（企业级 BI）
自动化归因与 AI 洞察：引入 Instructor (Pydantic + LLM)
底层数据搬运：引入Airbyte（万能的数据连接器）

主数据管理：
Who (User/Org)
Why (Project/Product/Cost)
What (MetricDefinition)
Where (SystemRegistry)
How (EntityTopology)
形成逻辑自洽的企业级数据架构
主数据遵循“唯一事实来源” (SSOT) 原则
设计遵循 “增量扩展 (Additive Changes)” 原则
充分体现Headless BI 统一指标定义的思想
遵循 MDM 原则：主数据应遵循“单向流动，集中管控”的原则

框架采用 FastAPI (后端) +Vanilla JS (前端) + PostgreSQL (存储) + Dagster/dbt (数据工程) + Streamlit (分析展示)，这是一个非常现代且高度解耦的架构方案。

该框架通过“轻前端、强中台、重数据”的思路，成功将原本孤立的采集、展示、迭代、测试和需求管理整合在了一起，比购买单一的商业软件具有更高的扩展性和业务适配度。

Assets 2

04 Jan 12:44

netxs2000

v1.5.0

f161ee8

v1.5.0

架构升级：

技术能力：从“数据采集”升级为“数据洞察”。
业务能力：决策者不再看混乱的 SQL 结果，而是通过“红绿灯”和“趋势图”直接进行管理决策。
架构能力：实现了“采集 -> 建模 -> 推理 -> 展示”的全链路闭环。

后续计划：

数据治理与元数据管理：引入 DataHub（全链路血缘可视化）
深挖数据洞察：引入 Jupyter + PyGWalker（交互式探索）
数据清洗与增强：引入 DuckDB（内存计算之王）
高性能仪表盘补强：引入 Apache Superset（企业级 BI）
自动化归因与 AI 洞察：引入 Instructor (Pydantic + LLM)

主数据管理：

Who (User/Org)
Why (Project/Product/Cost)
What (MetricDefinition)
Where (SystemRegistry)
How (EntityTopology)
形成逻辑自洽的企业级数据架构
主数据遵循“唯一事实来源” (SSOT) 原则
设计遵循 “增量扩展 (Additive Changes)” 原则
充分体现Headless BI 统一指标定义的思想

Assets 2