產品描述

數(shu)據開發服務向數(shu)據開發工(gong)程(cheng)師提供拖拉拽控(kong)件的方式，設計復雜的工(gong)作(zuo)流有向無環(huan)圖，挖(wa)掘出有商業(ye)價值(zhi)的數(shu)據

業務架構圖

架構描述：

• 數據開發工(gong)(gong)程師創(chuang)建工(gong)(gong)作(zuo)流，設計工(gong)(gong)作(zuo)流任務

• 系統維護員為工作流設置定時(shi)調度策略

• 系統維護員監(jian)控工作流執行情(qing)況

產品優勢

在線開發、管理任務

提供B/S模式的(de)web界面，使有瀏覽器的(de)地方即可開發、管理(li)任務的(de)需求成為可能(neng)

有向無環圖工作流

開發工作流時(shi)，通過預設任(ren)務的(de)(de)前(qian)置任(ren)務和(he)任(ren)務分(fen)支(zhi)，設計(ji)出復雜的(de)(de)流程，達到有(you)條件、有(you)步驟地(di)提煉出數據的(de)(de)目的(de)(de)

工作流失敗機制

開發工作流時，通(tong)過預設任務失(shi)敗的(de)(de)重試(shi)次數、失(shi)敗重試(shi)間隔，有效地減少人工干預任務執(zhi)行的(de)(de)工作量(liang)，提高工作流執(zhi)行成功率(lv)

工作流失敗告警

開發工作流(liu)時，通過預(yu)設超時告(gao)警、發送郵件，將工作流(liu)執(zhi)行信息及時推送給用戶

技術融合

數(shu)據開發工程師通(tong)過使用SHELL、SQL、SPARK、FLINK等控(kong)件開發工作流，在一個工作流中使用多種計(ji)算機語言、計(ji)算引擎對(dui)數(shu)據打出(chu)組合拳，從海量、雜亂無章(zhang)的數(shu)據中提煉出(chu)有(you)效(xiao)的知識和信(xin)息

工作流重跑

啟動(dong)工作流時，保存(cun)輸入參數(shu)。任(ren)務執行(xing)失敗重跑(pao)時，可恢(hui)復到故障發(fa)生的(de)執行(xing)環境，重新跑(pao)出數(shu)據

任務重跑

復雜的工作流執行失敗(bai)(bai)時，可從失敗(bai)(bai)的任務節點開(kai)始跑數，避免從頭開(kai)始跑數，浪費計算資(zi)源

多種數據源

在一個工作流中，數(shu)據(ju)(ju)開發工程師可(ke)以只(zhi)使(shi)(shi)用(yong)(yong)MySQL、ORACLE、HIVE等數(shu)據(ju)(ju)倉(cang)庫中的一種(zhong);可(ke)以同時使(shi)(shi)用(yong)(yong)MySQL、ORACLE、HIVE等數(shu)據(ju)(ju)倉(cang)庫中的幾種(zhong)，使(shi)(shi)數(shu)據(ju)(ju)從一種(zhong)數(shu)據(ju)(ju)倉(cang)庫流向(xiang)另一種(zhong)數(shu)據(ju)(ju)庫

功能列表

• 儀(yi)表盤(pan)：流程(cheng)定(ding)義統計、任務狀態統計、流程(cheng)狀態統計

• 數據(ju)源中心：數據(ju)源的管(guan)理(li)界面(mian)

• 項(xiang)目管理：數據開發(fa)服務按項(xiang)目維度(du)組織管理整(zheng)個項(xiang)目的工作流(liu)、工作流(liu)實例、任務實例

• 項目管理(li)-工(gong)作(zuo)(zuo)流(liu)定(ding)義(yi)：界面表格、創(chuang)建工(gong)作(zuo)(zuo)流(liu)、編輯工(gong)作(zuo)(zuo)流(liu)、運行、定(ding)時、定(ding)時管理(li)、復制刪(shan)除工(gong)作(zuo)(zuo)流(liu)

• 項目管理-工作流實(shi)例：界面表格、編輯、重跑、恢(hui)復失(shi)敗、停(ting)止、暫定、刪(shan)除(chu)、甘特圖(tu)

• 項目(mu)管理-任(ren)務(wu)實例：界面表(biao)格(ge)、強(qiang)制成功、查看日(ri)志