当前位置: 华文世界 > 科技

知识点滴 | AI工程化

2024-07-29科技

概 念

AI工程化是使用数据处理、预训练模型、机器学习流水线等开发AI软件的技术统称,并且帮助企业更高效地利用AI创造价值。简单的理解就是,目前已经成熟的软件工程将「软件」扩展到AI后的一种针对AI开发特点的适配与进化,通过系统化、规范化、可度量地使用各种工程方法和工具,确保AI软件能够达到预期。Gartner将「AI工程化」列为九大重要战略科技趋势之一。AI要成为企业的生产力,就必须以工程化的技术来解决模型开发、部署、管理、预测等全链路生命周期管理的问题。

AI工程化的支柱

AI工程化立足于三大核心支柱,即数据运维、模型运维和开发运维。强大的AI工程化策略将促进人工智能模型的性能、可扩展性、可解释性和可靠性,完全实现人工智能投资的价值。

实现路径

目前行业内对于AI工程化的实现路径主要有两种,一种是AI开发框架型,即原本就提供AI开发服务的各种深度学习框架,将服务延展而来,其优势在于AI框架原本就是AI领域的基础软件,处于承上启下的位置,提供面向AI工程化服务的「近水楼台」。国外以Google、Meta等科技巨头为代表,国内有华为、百度等,以TensorFlow、PyTorch、MindSpore、PaddlePaddle等各自的深度学习框架为基础,提供一系列与AI工程化相关的生态技术和工具,如领域套件、模型可视化工具、调试调优工具、高级API等。另一种是AI服务平台型,即过去为企业提供算力、算法、数据相关服务的企业(如阿里),随着客户需求的发展专门提供面向AI工程化的能力。

行业影响

第一,AI工程化从技术上加速了AI应用的落地速度。AI工程化是人工智能落地的必经之路,也正在成为人工智能行业厂商的工作重心。AI工程化意味着技术的成熟和良好的使用体验,对希望借助人工智能实现智能化的企业而言,能显著降低技术迁移成本,更容易组建所需的人才队伍。因此,在AI工程化的技术和应用方向中,既要集成传统软件行业可持续交付和研发的DevOps体系,也要集成AI研发、落地的MLOps,只有两者融合才能解决AI工程化问题。第二,AI工程化必然带来应用开发的低代码趋势。Gartner预测,到2025年,70%的新应用将由低代码/无代码技术开发。人工智能应用的场景呈现出场景多元日益增长、用户体验要求高、迭代迅速等特点,传统的开发方式已经无法满足企业客户的需求。因此,低代码化的人工智能开发平台几乎成为了必然选择。第三,AI工程化使人工智能和大数据的合作将更加紧密。数据,尤其是大数据和算法、算力的融合,现在正成为人工智能特别是机器学习等行业的主要发展方向。在AI与应用结合的趋势下,AI与大数据融合,带动产业数字化、智能化、合规化,提升产业效率,开拓产业边界,创造产业价值,提升公平性,并反哺行业获得更高生产力(算法、算力)、生产要素(数据)的提升。第四,AI工程化使数据安全、数据隐私、AI可信等涉及到隐私和合规的要求越来越高。目前【数据安全法】【个人信息保护法】的推出,数据安全、数据隐私、AI可信等问题日益受到重视。数据要素的「流通共享与协同应用」对于实现数据要素价值释放起到了核心的作用。业内专家认为,分离数据的持有以及数据衍生知识的使用、个人信息和企业数据资产的防护、数据安全/人工智能可信技术和数据合规的鸿沟、立法和行业标准的加速完善等,都是人工智能应用必须面对和解决的问题。

发展方向

未来,AI工程化领域亟待推进的事情有三件:一是数据和算力的云原生化,二是调度和编程范式的规模化,三是开发和服务的标准化、普惠化。

AI工程化落地的首个基础能力就是平台云原生化。云原生是目前最普适的方法,所倡导的开放、弹性和生态等原则可以迅速拉低AI平台的实现门槛。同时,云原生强调的统一部署、标准化、OpenAPI、弹性等要素都比较契合机器学习平台的环境复杂、需要快速迭代等特点。机器学习平台对超大规模模型的支持能力一定程度反映了其自身的成熟程度,是其支持AI业务模型和能力升级的体现。这也是模型超大规模化成为AI工程化落地第二个基础能力的主要因素。在这方面,阿里云、谷歌等都有很多项目,影响较大。AI工程化的核心是构建模型、训练模型、部署模型等,如何将这一过程与具体的业务场景结合,还需要一套工具来完成管理建模、训练和部署等工作。未来,这些模型的开发与服务工具必将走向标准化。

AI工程化的市场结构

人工智能、大数据、云计算企业都可以在AI工程化中找到自己的位置,找到自己的商机。那么AI工程化的市场结构又是如何呢?Gartner最新发布了两份AI魔力象限报告,一份是数据科学与机器学习平台(DSML报告)和云AI开发者服务报告(CAIDS报告),是市场发展的「格局图」。阿里云成为DSML报告4年历史以来首个入选的中国厂商。在CAIDS报告中,国内的阿里云、百度云、腾讯云都进入报告。从两份AI魔力象限报告中可以看出,中国企业的实力正在增强。