猪脸识别、自动投喂!Apache DolphinScheduler还能做这些?

数字化转型提速中!传统农牧食品行业也寻求搭上数字化转型的快车,通过物联网、大数据、人工智能等现代信息技术,实现生产、加工、流通等环节的智能化和自动化,提高生产效率、优化资源配置、提升产品质量,并满足消费者对食品安全和可追溯性的需求。

在数字化浪潮的推动下,铁骑力士集团作为一家历史悠久的农牧食品企业,正通过引入先进的调度平台——Apache DolphinScheduler,实现其数字化转型的宏伟蓝图。

本期嘉宾介绍

李贤利,铁骑力士集团的IT架构师,拥有电子与通信工程专业背景,自2014年毕业以来,积累了丰富的行业经验。在广电和军工行业深耕7年后,他将专业视野拓展至农牧养殖食品领域,至今已在铁骑力士集团服务3年。李贤利在分布式系统建设方面尤为擅长,并积极投身于大数据应用、计算机视觉以及大模型落地探索等前沿技术研究。

铁骑力士集团概览

铁骑力士集团自1992年成立以来,已发展成为一个拥有150家分子公司的产业集群,涵盖饲料、牧业、食品和生物工程四大领域。集团以全程可控溯源的产业链,确保食品安全,推动现代农业的健康发展。

DolphinScheduler的引入

在铁骑力士集团的数字化转型过程中,近万人的集团业务,30多套业务系统需要依靠数字化中心的技术人员作为IT信息支撑,我所在的技术开发部门感到压力巨大。Apache DolphinScheduler的引入是一个关键的里程碑,它不仅支持了集团在饲料事业部、生猪事业部等多个部门,还促进了数字化中心与大数据部的协同工作。

数字化转型中的调度平台

2020年,铁骑力士集团启动了数字化转型变革项目,投入1亿+资金,设立了研发、营销、供应链、财务、人力资源等五大领域,围绕着这五大领域共建设了30多套IT系统。通过建设30多套IT系统,集团实现了业务流程的自动化和智能化。这些系统包括但不限于PLM、QMS、TDB、TBI、ECI等业务,涉及到的调度包括Quartz、Elastic-Job、Xxl-job、Oozie,使用的开发语言包括Delphi、C++、C#、Java和Python等。

这让我思考,是否可以做一个统一的大数据调度平台,统一调度与语言?恰好这时大数据部门的领导推荐了Apache DolphinScheduler。

底座规划中的调度平台

响应四川省数字化转型的号召,集团的数字化转型已进行一年多,为传统企业数字化转型“打样板”,做支撑。为此,集团进行了数字化平台底座规划。

在底座规划中,集团计划将Apache DolphinScheduler作为统一的调度平台。

应用案例

2023年,集团正式使用Apache DolphinScheduler,我的使用感受是界面清爽,一目了然,数据源与集团采购系统较为匹配,组件也比较丰富。

IOT设备数据采集与应用

在IOT设备数据采集方面,铁骑力士集团期望利用Apache DolphinScheduler实现了对猪(鸡)舍和屠宰车间环境的实时监控与数据采集,包括温度、湿度、光照度、制冷度、氨气与硫化氢浓度等关键指标,上传到数据资产管理平台,经过对数据的调度,最终在禽畜养殖管理平台展现出来。

通过调度事件,我们希望实现定时喂养、自动投料与喂水等自动化操作,并利用猪脸识别技术监控生猪动态,屠宰车间制冷控制,提高养殖效率。

在我们的构想中,我们希望建成一个禽畜养殖调度管理平台,由总调度平台采集集团所有养殖基地的数据,并形成温度、湿度、光照度、制冷度等的可视化调度管理。

主数据归一化管理

在主数据管理方面,铁骑力士集团通过Apache DolphinScheduler的SQL组件,实现了经销商、供应商、产品物料和人员组织等数据的归一化管理。这一举措不仅提高了数据的一致性和可用性,也为数据驱动的决策提供了坚实的基础。

大数据部门主要使用了Apache DolphinScheduler的DataX和Sqoop组件。

由于系统比较多,数据同步过来之后需要及时进行数据校验,比如唯一单据的校验。

电商情报数据应用

电商情报数据的应用是铁骑力士集团数字化转型的另一亮点。通过Python和Java组件,集团能够高效处理来自不同商超平台的数据,实现数据的快速分析和应用。

级联组件的创新应用

在业务流程自动化方面,铁骑力士集团希望通过Apache DolphinScheduler的级联组件,实现业务场景的创新应用。例如,通过调度平台整合EAA系统与集团的各系统数据,实现从发票/完税证明到报销/收付款的全流程自动化。

有了上面的构想,我们提出了三个方案:

方案1:SQL+PYTHON+HTTP组件,这个方案的优点是可以实现解耦,但SQL组件的列表数据无法传输到下一个组件;

方案2:JAVA/PYTHON组件,这个方式实现起来简单,但每个接口都需要写代码;

方案3: HTTP组件,这个方案需要统一调度平台,可以写一个http接口去驱动源系统向目标系统发出请求,但仅仅是换了调度平台。

在实践过程中,我们发现在使用Apache DolphinSchedulers时遇到了一些技术挑战。

遇到的挑战与解决方案

例如SQL组件的列表数据无法传输到下一个组件的问题。官方文档显示Apache DolphinScheduler支持SQL和Python参数传递,但在实际应用中,我们发现LIST数据类型是不可传递的。为了解决这个问题,团队只能使用http的方式开发接口,把源数据同步到数据管理平台。

对开源社区的展望

虽然由于时间紧急,我曾搁浅了改造源码已实现对LIST数据类型的支持,但考虑到Apache DolphinScheduler未来在集团数字化转型战略中的重要作用,我还是提倡积极参与到Apache DolphinScheduler开源社区中,并且有一些建议给到社区。

据我观察,在农牧行业中,组件之间进行数据传输的应用场景广泛,像铁骑力士这样的大型传统农牧企业,其实技术人员数量不多,大部分系统为外部采购二开,开发能力相对较弱,希望可以有像白鲸开源这样的企业能够提供专业的服务。

另外,从开发层面,希望开源社区能够补齐数据传输管道的场景,有一个过滤器可以过滤掉所需的数据,存储到具体的业务系统中。

当然,我鼓励更多的开发者加入Apache DolphinScheduler社区,共同推动调度平台的发展和创新。

结语

随着数字化转型的不断深入,铁骑力士集团将继续探索和实践新技术,以实现更高效、更智能的企业运营。Apache DolphinScheduler作为集团数字化转型的重要工具,将继续在这一过程中发挥关键作用。

本文由 白鲸开源 提供发布支持!

热门相关:豪门退婚妻:宝贝,再嫁我一次!   贩罪   天王的专属恋人:独家宝贝   绝宠小医妃:王爷,来一针   亿万老公,送上门!