阿里灵杰：AI工程化助力产业数字升级

12月3日,2021阿里灵杰AI工程化峰会圆满落幕。阿里巴巴集团副总裁、阿里云智能计算平台事业部负责人、达摩院 AI 平台负责人贾扬清,达摩院语音实验室负责人鄢志杰,阿里云智能研究员、机器学习PAI平台和大数据平台技术负责人林伟等11位技术牛人亮相本次峰会,与开发者共同探讨AI落地产业的路径探索与创新实践。

贾扬清:从需求视角出发,拥抱云原生的AI时代

阿里巴巴集团副总裁、阿里云智能计算平台负责人、达摩院 AI 平台负责人贾扬清以一名AI老兵的身份,分享了经历多次浪潮后的观察。他把早期的AI开发人员比作“拓荒者”,身兼算法研究员、软件工程师、数据工程师、系统工程师多种角色,尝试把AI算法和应用逐渐落地。

(图:阿里巴巴集团副总裁、阿里云智能计算平台负责人、达摩院 AI 平台负责人贾扬清分享“一个AI开发者的奇幻漂流”)

随着技术发展,组件数量和模型算法的复杂度都在增加。时至今日,需要搭建一个统一的空间来拉通数据管理、算法迭代、模型训练及上线各环节。贾扬清总结道,“AI的痛苦在于本质上没有范式。AI不是一个单点的产品,而是一系列能力的组合;另一方面,AI对标准的软件和定制化服务协同的需求极强。”

因此,“AI开发者需要的,不是从资源视角搭建起来的平台;而是从需求出发,通过云原生、容器化方式链接资源的平台”,这正是打造阿里灵杰的初衷。今年10月刚刚发布的阿里灵杰,通过一体化的大数据与AI产品体系,向用户提供10万台以上计算集群的弹性算力、上百种标准化算法和模型服务、以及覆盖数据处理和机器学习全链路的管理能力。

简言之,阿里灵杰的核心价值在于,帮助今天的AI开发者更好地将数据、算法和场景结合起来,构建更完整更复杂的解决方案,去解决产业中的实际问题。

阿里灵杰AI工程平台:全链路提升效率

阿里云机器学习平台PAI和大数据平台技术负责人林伟认为,数据、计算力、和算法有机结合才能推动AI爆发,阿里灵杰也基于三要素形成了独特的思考和实践。

第一,数据质量决定模型的高度。因此,阿里灵杰从诞生第一天起就采用大数据与AI一体化的架构,通过湖仓一体实现对多元异构数据的存储管理,通过DataWorks和智能标注产品实现数据质量提升和监控,通过MaxCompute、Hologres、Flink等计算引擎完成实时或离线分析处理;

第二,算法开发迭代速度是重要生产力。云原生的灵杰平台能提供弹性的计算力,并具备良好的异构硬件和端设备适配性,能提升模型开发和部署效率。面向大模型,灵杰机器学习平台的Whale框架可自动实现分布式训练,FineTune框架可基于预训练大模型蒸馏出垂直场景的小模型,提升大模型生产速度和应用价值;

第三,AI系统能力是核心能力。阿里巴巴集团内部AI应用需求极大,推动着灵杰机器学习平台PAI的核心引擎不断发展优化,覆盖超大规模稀疏模型训练及服务、超大规模多模态预训练模型、自动编译、大规模集群调度、ML Ops等方向。

(图:阿里云机器学习平台PAI和大数据平台技术负责人林伟分享AI工程化技术趋势)

聚焦阿里灵杰的平台产品能力,阿里云机器学习平台PAI产品负责人黄博远带来了一系列新功能发布。黄博远介绍,PAI提供从数据准备、模型开发、到模型部署、训练的全流程平台能力,此次产品升级主要是3个方面:

1、 AI开发全链路体验提升,发布AI工作空间实现精细化的团队开发协作和AI资产管理。

2、 PAI集成开源autoML框架NNI。PAI-DSW以jupyter插件形式集成NNI,让自动机器学习能力变得唾手可得;PAI-DLC分布式集群可进行NNI HPO分布式训练,提升使用效果。此外,PAI-NNI加入了剪枝、稀疏化、量化等方向的提升,让autoML的能力更易达到企业级应用标准。

3、 基于PAI,可实现超大规模模型的构建、垂直场景小模型蒸馏、以及AI应用部署,让AI更普惠。

从标准化AI服务到电商增长,阿里灵杰的产业化实践

基于强大的基础设施和工程能力,阿里灵杰在阿里内外都积累了成功案例。达摩院语音实验室负责人鄢志杰认为,AI行业已经进入发展的“下半场”,AI+产业”将是兑现AI价值的重要途径,AI应用将形成专业分工更精细的产业链生态,“所有人将可使用AI,而AI也将予力所有人”。包含语音、视觉、NLP等能力在内的阿里灵杰AI开放服务正是基于这一愿景诞生,并具备开箱即用、自主定制、成本经济的特点。

在电商领域,数据驱动下的智能无处不在。阿里巴巴技术专家郭瑞杰表示,在电商场景中,用户除了获取信息,还存在比对、决策、售后等多个环节,链路更长,并且算法效果也业务价值直接相关。基于多年积累的电商智能增长工程平台,已经上云并产品化,并在电商、零售、内容社区、音视频领域帮助企业客户实现用户和收入显著增长。

阿里云天池首届“英特尔创新大师杯”颁奖

为引导开发者创新优化技术解决方案,促进AI行业沟通学习,今年启动了由英特尔主办,阿里云天池平台联合计算平台机器学习PAI承办的第一届“英特尔创新大师杯”深度学习挑战赛。比赛聚焦OCR及NLP的两个经典技术方向,通过多个实用场景面向全球广大开发者发布算法挑战。

经过数月征集和评选,“英特尔创新大师杯”颁奖典礼也在此次峰会举办。阿里巴巴集团副总裁、阿里云智能计算平台事业部负责人、达摩院 AI 平台负责人贾扬清,阿里云智能研究员、机器学习PAI平台和大数据平台技术负责人林伟,英特尔公司中国区超大云计算软件架构总监魏彬共同为获奖者颁奖。

这次深度学习挑战赛的顺利举行离不开英特尔第三代至强™可扩展处理器的强力支持。据英特尔公司中国区超大云计算软件架构总监魏彬介绍,英特尔第三代至强™可扩展处理器提供了澎湃的计算性能,不仅拥有VNNI指令集,提供强大的INT8的量化性能,还在新一代的平台中增加了BF16的指令集,对既要求计算又要求精度的OCR以及NLP场景尤为适合;在软件侧,英特尔还在框架层面上对Pytorch Tensorflow进行了深度优化。对本次比赛而言,选手也得以拥有良好的模型训练和优化环境,无论在边缘或是云端,都能让工作负载处于安全状态,为开发者的模型研发保驾护航。

声明：本文为广告信息，不代表本站观点。如有违规或侵权，请联系我们。