當前位置:網站首頁>Kettle實現共享數據庫連接及插入更新組件實例
Kettle實現共享數據庫連接及插入更新組件實例
2022-07-23 14:55:37【小龍Hibernation】
常用組件
1、共享數據庫連接
新建的數據庫連接都只屬於某一個轉換程序
如果你想讓所有的轉換程序都能使用這個連接,需要開啟共享
2、錶輸入組件
需求∶將錶中的數據,同步到另一張這張錶中。
分析
- 這是一個轉換任務
- 輸入︰讀取錶的數據
- 轉換 : 沒有轉換過程
- 輸出 : 將結果寫入錶中
實現
開發程序
配置輸入
先配置數據庫連接共享
配置輸出
測試運行
3、插入更新組件
工作需求∶將A錶的數據同步到B錶中,保證B錶的數據與A錶的數據一致,實現是不斷更新的操作
- A錶發生了更新,更新的數據也會同步到B錶中
- A錶沒有發生更新,即使程序運行,B錶也不發生改變
- 數據同步的過程
- 每次只同步更新的數據
- 已經同步過的數據,就不會再進行同步
- 工作中一般一天會同步一次,程序就每天執行一次
解决∶插入更新的輸出組件
功能 : 只會同步發生更新的數據,已經同步過的數據不會再次同步
- 數據更新
- 插入一條新的數據
- 修改一條老的數據
- 數據更新
實現 : 任何時候,兩張錶的數據同步是一致的
開發轉化任務流程圖
定義輸入
與之前步驟一致
定義插入 / 更新
只以id來做比較
測試運行
修改原錶數據或增加,再執行一次,自動進行更新
總結
本文主要兩個知識點:
- 共享數據庫連接
- 插入更新組件
- 同步業務
- 全量︰每次將所有的數據都同步一份
- 保證A和B是一致的
- 每次先删除B所有內容,然後,再同步
- 程序的性能比較差,數據量大了以後,非常慢,不建議使用
- 錶輸出︰全量的組件
- 保證A和B是一致的
- 增量︰每次將發生更新的數據同步,沒有發生更新就是已經同步過的數據不再同步
- 保證A和B是一致的
- 工作中都使用增量的方式
- 插入更新︰增量的組件
- 全量︰每次將所有的數據都同步一份
以上兩個知識點非常貼合和適用於在工作場景中,還可以跟作業搭配,一逸永勞
版權聲明
本文為[小龍Hibernation]所創,轉載請帶上原文鏈接,感謝
https://cht.chowdera.com/2022/204/202207230934249034.html
邊欄推薦
- 【STM32學習】(21)STM32實現步進電機
- 繪制帶有查詢條件變量的table【grafana】
- 認識接口
- LABVIEW:創建一個VI
- 界面開發框架DevExtreme Gantt控件——可導出PDF、排序任務
- MySQL命令行導出導入數據庫和數據錶
- 有數大數據基礎平臺之智能運維平臺EasyEagle介紹:集群隊列篇
- 你記住JS中offsetWidth、clientWidth、width、scrollWidth、clientX、screenX、offsetX、pageX嗎?
- 【Azure 事件中心】Azure Event Hub 新功能嘗試 -- 异地灾難恢複 (Geo-Disaster Recovery)
- unity 照片牆
猜你喜歡
隨機推薦
- *精度優化*優化策略1:網絡+SAM優化器
- AXI協議詳解
- js--Date對象&三元錶達式
- leetcode-買賣股票的最佳時機含手續費
- unity中3dUI或者模型始終面向攝像機,跟隨攝像機視角旋轉丨視角跟隨丨固定視角
- JVM初探
- 移動端測試之appium環境部署【未完待續】
- 關於後臺掛載,進程管理的學習
- 讀《高效閱讀法-最劃算的自我投資》有感
- shell基本命令
- 從鍵盤輸入一串字符,輸出不同的字符以及每個字符出現的次數。(輸出不按照順序)運用String類的常用方法解題
- 2019_AAAI_ICCN
- 影響接口查詢速度的情况
- 《STL適配器》stack和queue
- 淺析緩存的讀寫策略
- 類和對象(1)
- 實驗二 YUV
- 大咖訪談 | 開源社區裏各種奇怪的現狀——夜天之書陳梓立tison
- synchronized是如何實現的
- 【arXiv2022】GroupTransNet: Group Transformer Network for RGB-D Salient Object Detection
- BGP機房的優點
- 真人踩過的坑,告訴你避免自動化測試常犯的10個錯誤
- 判斷是否為void類型
- C語言——幾道C語言經典習題
- openvino_datawhale
- C語言基礎知識梳理(一)
- Redis源碼與設計剖析 -- 7.快速列錶
- 比特,比特,字節,字的概念與區別
- 項目部署(簡版)
- JDBC的學習以及簡單封裝
- [pytho-flask筆記5]藍圖簡單使用
- Web Component-自定義元素的生命周期
- 數倉4.0筆記——業務數據采集
- 數倉4.0筆記——用戶行為數據采集四
- 對.h5文件的迭代顯示,h5py數據操作
- 常用數學知識匯總
- “東數西算”下數據中心的液冷GPU服務器如何發展?
- 硬件知識1--原理圖和接口類型(基於百問網硬件操作大全視頻教程)
- 鋼結構基本原理複習
- Unity3d:UGUI源碼,Rebuild優化