Luigi是一個Python軟件包,幫助你建立復雜的批處理作業管道,它可以處理依賴性解決、工作流管理、可視化、處理失敗、命令行集成等等,Luigi的目的是解決通常與長期運行的批處理過程相關的所有管道問題。
功能介紹
建立復雜的批處理作業管道
很容易建立起由成千上萬個任務組成的長期運行的流水線。
Luigi幫助你把許多任務連接起來
Luigi負責大量的工作流程管理
你的數據管道不會在包含部分數據的狀態下崩潰
使用Luigi的可視化器,你可以對工作流的依賴關系圖有一個很好的可視化概述。
使用編程語言寫的程序,由于每條指令都對應計算機一個特定的基本動作,所以程序占用內存少、執行效率高。