大數(shù)據(jù)治理平臺

元數(shù)據(jù)管理

元數(shù)據(jù)統(tǒng)計

元數(shù)據(jù)相關信息統(tǒng)計概覽，包含數(shù)據(jù)源總數(shù)、元數(shù)據(jù)總數(shù)、占用總空間，以及數(shù)量、數(shù)據(jù)占用空間對比圖，熱門元數(shù)據(jù)排行等

數(shù)據(jù)源配置

管理平臺內(nèi)需要對接數(shù)據(jù)的數(shù)據(jù)源信息，包含內(nèi)部創(chuàng)建的數(shù)據(jù)源以及外部對接的數(shù)據(jù)源，數(shù)據(jù)源刪除走審批流程等

元數(shù)據(jù)采集

創(chuàng)建元數(shù)據(jù)采集任務，定義采集任務類型、名稱，以及采集對象（即數(shù)據(jù)源）名稱，支持批量定時采集任務配置

元數(shù)據(jù)信息

查看已采集到的元數(shù)據(jù)相關信息，包含字典信息、數(shù)據(jù)特征、字段信息、血緣信息、任務信息、數(shù)據(jù)預覽以及變更記錄

數(shù)據(jù)血緣

支持查看元數(shù)據(jù)血緣，并支持自動生成和編輯用戶編輯血緣關系，精確的字段級別，實現(xiàn)快速追溯上下游表關聯(lián)便于影響分析

數(shù)據(jù)地圖

平臺支持通過表名稱、字段名稱、服務名稱、注釋信息等查詢相關數(shù)據(jù)信息

數(shù)據(jù)標準

數(shù)據(jù)元管理

1.支持維護數(shù)據(jù)元標簽、數(shù)據(jù)格式、采用標準編號等標準的定義
2.數(shù)據(jù)元詳情通過時間軸可查看變更記錄，用于追溯，可查看數(shù)據(jù)元被引用記錄
3.數(shù)據(jù)元快速錄入、導入、導出、使用統(tǒng)計等
4.數(shù)據(jù)元操作需要審核操作，非管理員新增、編輯、刪除需要審核后生效，支持查看審核狀態(tài)及審核結(jié)果

數(shù)據(jù)標簽管理

1.平臺內(nèi)置數(shù)據(jù)標簽也支持用戶自定義創(chuàng)建標簽，標簽分組，用于對數(shù)據(jù)源、元數(shù)據(jù)等進行標記、查找
2.可查看每個標簽詳情信息，被引用的次數(shù)統(tǒng)計以及引用的數(shù)據(jù)信息展示

數(shù)據(jù)字典管理

1.數(shù)據(jù)字典的添加、修改、刪除、導出等功能，管理字典及值域信息，能根據(jù)字典名稱、字典編號等進行字典查詢
2.內(nèi)置數(shù)據(jù)字典，其他頁面使用時可引用，支持用戶可修改值域

數(shù)據(jù)資源目錄

1.按照交通標準行業(yè)體系或地方定制體系以樹形結(jié)構(gòu)進行數(shù)據(jù)資源目錄管理，為目錄掛載標準數(shù)據(jù)元
2.支持快速錄入、導入、導出，創(chuàng)建和使用統(tǒng)計等
3.數(shù)據(jù)目錄操作需要審核操作，非管理員新增、編輯、刪除需要審核后生效，支持查看審核狀態(tài)及審核結(jié)果

標準文檔管理

根據(jù)文檔標準號、分類、來源、狀態(tài)等，統(tǒng)一對標準文檔進行管理，支持用戶查看、編輯、下載

數(shù)據(jù)標準統(tǒng)計

統(tǒng)計數(shù)據(jù)元、數(shù)據(jù)資源目錄發(fā)布提交數(shù)量、數(shù)據(jù)標準文檔、數(shù)據(jù)資產(chǎn)變化歷史趨勢、熱門數(shù)據(jù)元、數(shù)據(jù)資源目錄排行統(tǒng)計等

數(shù)據(jù)質(zhì)量

規(guī)則配置

內(nèi)置20多種質(zhì)量檢測模版，配置數(shù)據(jù)質(zhì)量檢測方案的規(guī)則

方案管理

管理數(shù)據(jù)質(zhì)量檢測的方案管理，并引入平臺內(nèi)已有規(guī)則，形成獨立成體系的檢測方案

任務管理

查看數(shù)據(jù)質(zhì)量方案的執(zhí)行情況，包含方案內(nèi)規(guī)則的異常數(shù)和正常數(shù)，以及規(guī)則的執(zhí)行狀態(tài)是否成功

質(zhì)量報告

數(shù)據(jù)質(zhì)量報告，平臺根據(jù)方案規(guī)則的執(zhí)行情況，總結(jié)輸出數(shù)據(jù)質(zhì)量報告，包含檢測表總數(shù)、執(zhí)行任務總數(shù)、檢測規(guī)則總數(shù)、全規(guī)則通過表數(shù)、已通過規(guī)則數(shù)、規(guī)則不通過表數(shù)、未通過規(guī)則數(shù)、異常規(guī)則排行榜、異常表排行榜、質(zhì)量檢測趨勢圖，并支持導出操作

數(shù)據(jù)比對

1.基礎數(shù)據(jù)比對：實現(xiàn)基礎元數(shù)據(jù)的比對，支持數(shù)據(jù)源、數(shù)據(jù)表、數(shù)據(jù)字段等，選擇不同的對比屬性執(zhí)行，生成比對報告
2.業(yè)務數(shù)據(jù)比對：實現(xiàn)業(yè)務數(shù)據(jù)比對，包括數(shù)據(jù)表、字段hash值、MD5值等規(guī)則比對，比對結(jié)果展示差異數(shù)據(jù)量及行位置
3.比對規(guī)則管理：支持業(yè)務數(shù)據(jù)比對規(guī)則管理、新增、修改、刪除、啟停控制等
4.比對記錄：展示保存的所有比對結(jié)果，并支持下載導出，可保留比對條件再次比對

數(shù)據(jù)服務

API管理

創(chuàng)建發(fā)布管理API接口，可對API進行分組，可查看API發(fā)布狀態(tài)、使用應用數(shù)、調(diào)用總次數(shù)、以及API接口的情況測試

應用管理

創(chuàng)建應用，配置接入的API、日調(diào)用次數(shù)限制，系統(tǒng)自動APPKEY和秘鑰信息，調(diào)用次數(shù)超限后不可應用

數(shù)據(jù)脫敏

設置數(shù)據(jù)脫敏規(guī)則，掩碼、HASH、假名、截斷等多種方式，實現(xiàn)分享安全性

API調(diào)用記錄

展示API調(diào)用明細，可查看調(diào)用時間、響應時間、調(diào)用是否成功、調(diào)用日志以及根據(jù)API及調(diào)用狀態(tài)、時間等檢索

分析報告

查看平臺內(nèi)API整體調(diào)用分析報告，包含API發(fā)布總數(shù)、調(diào)用應用數(shù)、調(diào)用總次數(shù)、API調(diào)用總次數(shù)排行、應用調(diào)用API總次數(shù)排行、API調(diào)用平均耗時對比

數(shù)倉建模

版本管理

創(chuàng)建數(shù)倉版本名稱、版本號管理、可查看版本內(nèi)表數(shù)量、復制版本內(nèi)表結(jié)構(gòu)

數(shù)據(jù)層配置

配置數(shù)倉數(shù)據(jù)層，包含分層名稱、英文標識、抓取規(guī)則、抓取范圍、表數(shù)量、狀態(tài)

主題域配置

配置數(shù)倉主題域，包含主題域名稱、英文縮寫、表數(shù)量等

數(shù)據(jù)表設計

可視化建模，可引用標準數(shù)據(jù)元，配置數(shù)倉內(nèi)數(shù)據(jù)表結(jié)構(gòu)的標準設計

數(shù)據(jù)開發(fā)

腳本模板配置

統(tǒng)一管理常見通用腳本，并維護為腳本模板，方便后續(xù)腳本開發(fā)進行引用

開發(fā)腳本配置

配置開發(fā)腳本，通過腳本編輯處理數(shù)據(jù)遷移等需求，支持腳本內(nèi)容的生成和下載

數(shù)據(jù)探查

數(shù)據(jù)表探查

查看不同數(shù)據(jù)源內(nèi)的數(shù)據(jù)表數(shù)據(jù)情況，包含表基礎信息、可視化條件的點選對表內(nèi)數(shù)據(jù)進行過濾達到探查目的，支持探查結(jié)果的下載

自由探查

通過sql語句對不同數(shù)據(jù)源內(nèi)的數(shù)據(jù)表進行數(shù)據(jù)的自由探查，支持探查結(jié)果的下載

數(shù)據(jù)訂閱

訂閱任務

維護數(shù)據(jù)推送訂閱任務，包含任務名稱、任務描述、訂閱方式、訂閱頻率、訂閱渠道等信息

全量任務清單

查看平臺內(nèi)所有訂閱任務的執(zhí)行任務清單，查看任務執(zhí)行狀態(tài)，以及同步數(shù)據(jù)數(shù)據(jù)量，執(zhí)行日志等

大數(shù)據(jù)調(diào)度計算系統(tǒng)

首頁

離線項目數(shù)據(jù)概覽

1.可視化統(tǒng)計：各任務和流程總數(shù)及當前各狀態(tài)監(jiān)控統(tǒng)計（提交、運行、暫停、停止、成功/失敗、kill、等待等）
2.以項目維度分析，查看各狀態(tài)任務在項目中分布，便于查看項目情況，定位哪個項目失敗次數(shù)多，針對性分析
3.以用戶維度分析，各用戶創(chuàng)建的工作流數(shù)量統(tǒng)計對比分析，并查看每個用戶創(chuàng)建的工作流細節(jié)詳情

實時項目數(shù)據(jù)概覽

1.可視化統(tǒng)計各實時項目的總數(shù)及當前各任務狀態(tài)數(shù)量對比，并支持跳轉(zhuǎn)到各任務實例查看運行詳情信息
2.以用戶維度分析，各用戶在運行中任務/失敗中任務分布

離線項目管理

項目管理

離線項目的增刪改查，可查看每個項目的工作流定義數(shù)量、正在運行的進程數(shù)量等統(tǒng)計信息

項目首頁

點擊每個項目查看單項目首頁：可視化統(tǒng)計該項目的任務狀態(tài)、流程狀態(tài)、各角色流程定義量統(tǒng)計

工作流

1.工作流定義：通過面板上拖拉拽任務來繪制DAG，可配置租戶、設置超時告警、工作流支持復制、導出、定時策略配置、樹形圖查看等靈活操作
2.工作流實例：工作流定義運行后，查看每個工作流的運行情況，以甘特圖形式查看各個狀態(tài)的運行節(jié)點時間軸
3.任務實例：每條任務的運行信息、運行時長、重試次數(shù)等任務詳情信息，可查看運行日志

實時項目管理

任務管理

1.任務列表：Flink實時項目的管理，支持SQL任務和JAR任務創(chuàng)建及查詢，支持導入腳本模版，格式化代碼，語法提示，SQL預校驗等幫助快捷準確錄入
2.歷史版本：每次任務的變更自動生成版本，記錄各個版本的變更詳情

運行日志

查看及檢索各個任務，各版本運行日志情況、任務狀態(tài)，日志存放位置，日志詳情等信息

資源中心

文件管理

文件夾和文件管理，支持多種格式文件的導入、在線編寫及統(tǒng)一管理

UDF管理

資源管理和自定義函數(shù)管理，可上傳資源文件，通過頁面綁定資源創(chuàng)建管理UDF函數(shù)

數(shù)據(jù)源中心

數(shù)據(jù)源管理

數(shù)據(jù)源創(chuàng)建、測試、增刪改查管理，數(shù)據(jù)治理平臺數(shù)據(jù)源信息也會同步到該頁面，雙向同步

監(jiān)控中心

服務管理

可視化統(tǒng)計各個服務的監(jiān)控信息，包含Master、Worker、Zookeeper、DB等監(jiān)控狀態(tài)、CPU、內(nèi)存、負載、延遲情況等統(tǒng)計

統(tǒng)計管理

任務統(tǒng)計：統(tǒng)計待執(zhí)行命令、失敗命令、待運行任務、待殺死任務數(shù)量

配置中心

租戶管理

租戶的增刪改查管理，租戶的編碼、名稱、隊列等信息

用戶管理

用戶的增刪改查管理，賬號、密碼、郵箱、手機、所屬租戶等信息，可以為用戶授權(quán)項目、文件資源、數(shù)據(jù)源、UDF函數(shù)等

告警組管理

管理告警組，配置告警方式，配置接收預警的用戶人員

worker分組管理

管理worker分組，可選擇多個主機分配到一個組中，實現(xiàn)集中監(jiān)控

隊列管理

管理隊列，實現(xiàn)隊列增刪改查，錄入隊列名稱、隊列值信息

令牌管理

管理令牌，自動生成令牌，設置失效時間、選擇用戶等

大數(shù)據(jù)集群管理

集群管理，創(chuàng)建和管理大數(shù)據(jù)集群信息，包含Hdfs集群、yarn管理地址、hdfs地址、filink環(huán)境hdfs路徑等信息

大數(shù)據(jù)運維監(jiān)控平臺

總覽

數(shù)據(jù)概覽

查看平臺監(jiān)控數(shù)據(jù)概覽情況，包含主機監(jiān)控、服務監(jiān)控、監(jiān)控告警統(tǒng)計、監(jiān)控告警趨勢、監(jiān)控告警排行TOP10、采集日志量趨勢、服務error日志TOP5等可視化統(tǒng)計維度

拓撲圖

1.服務器拓撲圖：查看各主機設備健康狀態(tài)及連接狀況，并可查閱告警信息，定位告警問題
2.服務集群拓撲圖：查看各大數(shù)據(jù)服務組件、類型、實例、角色聯(lián)絡關系及異常情況，產(chǎn)生異常后通過拓撲圖一目了然定位
3.拓撲圖上查看服務器/服務的基本信息、監(jiān)控信息、告警信息，并可執(zhí)行運維事件：啟動、停止、重啟操作
4.拓撲圖支持放大、縮小、全屏及導出操作

監(jiān)控管理

服務器監(jiān)控

1.列表展示監(jiān)控的各個服務器信息，可通過服務器名稱、IP、狀態(tài)等進行篩選
2.服務器節(jié)點詳情：查看各服務器內(nèi)存、cpu、磁盤、讀寫變化情況及告警記錄
3.支持查看每個服務器下的各服務監(jiān)控情況、掛接的接口、端口等網(wǎng)絡監(jiān)控以及日志詳情

服務監(jiān)控

1.列表展示各服務集群，可通過各服務集群、服務器類型、各服務健康狀態(tài)等搜索
2.服務監(jiān)控詳情：支持各服務監(jiān)控指標可視化展示，包含角色指標以及jvm指標多維度對比分析
3.支持大數(shù)據(jù)組件：hdfs、yarn、kafka等服務類型整體監(jiān)控及各個服務角色分別監(jiān)控，多監(jiān)控信息可視化展示

網(wǎng)絡監(jiān)控

1.接口監(jiān)控：接口信息管理，實現(xiàn)實時在線接口監(jiān)控包括：接口名稱、源主機、監(jiān)控地址、請求方式、返回碼、響應時間、監(jiān)控狀態(tài)以及可視化圖表分析：響應時長對比圖、返回碼分布統(tǒng)計等
2.端口監(jiān)控：端口信息管理，實現(xiàn)實時在線端口監(jiān)控包括：源主機、IP、端口、監(jiān)控狀態(tài)以及響應時長對比等

運維管理

運維服務列表

1.展示支持運維的服務列表，從服務類型-服務角色-服務實例，可批量整體或單個實例操作運維事件
2.運維事件操作后可查看任務執(zhí)行的進度，操作日志，執(zhí)行結(jié)果等信息

運維操作記錄

1.記錄所有執(zhí)行的運維操作，包括服務信息、操作事件、操作人、操作時間、操作日志，并支持檢索，用于操作記錄追溯和查詢

巡檢管理

巡檢計劃

1.支持自定義巡檢計劃:選擇檢查項、巡檢周期、巡檢機器范圍、通知人等信息，系統(tǒng)自動根據(jù)周期執(zhí)行，也可手動操作巡檢
2.巡檢項包含系統(tǒng)檢查：cpu、內(nèi)存、磁盤、網(wǎng)絡、用戶以及應用檢查：端口檢查、進程占用資源對比，并內(nèi)置危險閾值，檢測異常提醒

巡檢歷史

1.按照巡檢計劃和巡檢服務器維度，查看每次巡檢記錄，巡檢結(jié)果，檢查到異常服務器信息以及異常隱患點
2.巡檢報告支持頁面預覽和批量excel導出下載

告警管理

告警配置

1.通知管理：管理各個告警人信息、所屬告警組管理
2.指標管理：配置各個告警指標名稱、指標類型、表達式，支持內(nèi)置指標展示，用戶也可自定義創(chuàng)建
3.規(guī)則管理：平臺內(nèi)置規(guī)則，如離線、內(nèi)存/CPU/磁盤過高等，并支持用戶自定義創(chuàng)建規(guī)則，配置規(guī)則基礎信息、資源范圍、指標參數(shù)、通知規(guī)則、通知方式、通知時間等靈活可視化操作

告警歷史

告警歷史包含：服務器告警、服務告警、接口告警、端口告警等
1.查看平臺內(nèi)全部告警信息，可通過主機名、主機IP、告警狀態(tài)、發(fā)生時間、告警級別、告警規(guī)則等多維度聯(lián)合檢索
2.告警詳情展示告警的全量信息，包含告警的基礎信息、從開始檢測異常、告警、推送、恢復全生命周期時間軸展示

日志管理

日志檢索

1.支持對主機日志查詢和檢索，支持通過主機IP、主機名稱、日志等級、開始/結(jié)束時間、關鍵字匹配進行檢索
2.服務日志支持通過服務集群、服務類型、角色、實例、開始/結(jié)束時間、日志等級、關鍵字等多維度綜合檢索
3.服務發(fā)生異常后，可快速跳轉(zhuǎn)日志定位

日志采集管理

配置日志采集對象，設置日志日志等，支持新增、編輯、刪除

配置管理

服務器配置

1.服務器組管理，多個服務器可歸屬于一個服務器組
2.服務器管理，管理主機IP、用戶名、責任人、所屬服務器組、當前健康狀態(tài)等，并且可根據(jù)實際業(yè)務情況配置是否進行主機監(jiān)控、進程監(jiān)控，可為服務器配置關聯(lián)的接口和端口等用于網(wǎng)絡監(jiān)控

服務配置

1.服務集群管理，根據(jù)業(yè)務情況管理多集群、多類型大數(shù)據(jù)組件服務，支持配置多個服務角色、關聯(lián)多個服務實例，通過平臺可靈活操作
2.可標注服務是否支持運維，如果支持運維后通過平臺可操作啟動、停止、重啟等事件

大數(shù)據(jù)共享交換平臺

首頁

共享資源門戶

1.提供數(shù)據(jù)資源的一鍵查詢，能按照關鍵字、行業(yè)、業(yè)務、主題等分類檢索
2.當前數(shù)據(jù)資源統(tǒng)計：數(shù)據(jù)目錄數(shù)、文件數(shù)、接口數(shù)，以及使用量統(tǒng)計：接口調(diào)用次數(shù)、文件下載次數(shù)
3.依據(jù)產(chǎn)品應用場景，按照行業(yè)、主題資源分類展示和統(tǒng)計共享資源

數(shù)據(jù)資源

數(shù)據(jù)目錄

1.資源目錄導航圖:采取導航欄 列表的形式，根據(jù)資源開放性進行資源展示，可以根據(jù)層級對資源進行篩選查看
2.數(shù)據(jù)目錄基礎信息：包括資源名稱、內(nèi)容簡介、數(shù)據(jù)來源、更新時間、提供部門、所屬分類、使用統(tǒng)計等
3.數(shù)據(jù)目錄按照共享條件分為無條件共享可查看數(shù)據(jù)文件，有條件共享需要申請審核后使用接口服務

數(shù)據(jù)接口

1.展示可共享的接口服務，可以根據(jù)接口類型分門別類查看和篩選
2.數(shù)據(jù)接口信息：包含接口名稱、調(diào)用地址、發(fā)布信息、在線測試、使用統(tǒng)計及調(diào)用方法等
3.服務接口申請：申請內(nèi)容包括接口名稱、申請用途、申請要求、申請人、申請單位、資質(zhì)文件等內(nèi)容

數(shù)據(jù)統(tǒng)計

數(shù)據(jù)概覽

統(tǒng)計納入共享的數(shù)據(jù)資源數(shù)、接口數(shù)、文件數(shù)，熱門接口和數(shù)據(jù)文件，共享任務的執(zhí)行情況：調(diào)用失敗總數(shù)
并按照單位的維度統(tǒng)計出數(shù)據(jù)共享情況和數(shù)據(jù)被使用情況，便于宏觀掌握，通過數(shù)據(jù)對比指導業(yè)務分析

接口統(tǒng)計

1.按照部門、接口維度分別統(tǒng)計獲悉各個接口使用度對比，以及各部門單位使用接口的情況
2.以列表的形式直觀展示所有接口調(diào)用記錄，接口提供部門、使用人、調(diào)用狀態(tài)、時間等信息及檢索

文件統(tǒng)計

1.按照部門、文件維度分別統(tǒng)計查看數(shù)據(jù)文件下載使用度對比，以及各部門單位下載量的情況
2.以列表的形式直觀展示所有數(shù)據(jù)文件下載記錄及檢索

共享管理

目錄管理

針對管理員提供數(shù)據(jù)資源目錄查看，并進行共享配置：資源名稱、共享方式、共享條件、更新頻率、使用限制等；
并根據(jù)數(shù)據(jù)資源類型，結(jié)合實際的業(yè)務應用，掛接服務接口或者提供數(shù)據(jù)文件下載

接口管理

針對管理員提供所有的服務接口查看功能，并根據(jù)業(yè)務需求配置是否允許共享，共享條件等

審核管理

待審核

1.針對用戶申請的數(shù)據(jù)資源，由管理者進行單個或批量資源審核，可同意或駁回，填寫審核意見
2.可查看及檢索所有提交審核記錄，資源信息、申請人信息、申請時間、申請原因

已審核

1.審核通過信息會傳遞到共享開放列表中，用戶可查看基礎信息并進行申請調(diào)用
2.可查看及檢索所有審核記錄，包含審核通過和駁回記錄，駁回原因、資源信息、申請人審核人信息、部門、時間等

駐場服務：自合同簽訂之日起至2025年12月31日期間，項目負責人及服務團隊人員需按采購人要求提供駐場技術服務。