随着AI在终端侧的火热，越来越多的推理框架的推出，让我们有了更多选择的同时，也带来了选择的烦恼。AoE初心是屏蔽推理框架的差异，让开发者不用关心各个推理框架的实现细节，实现AI模型在应用里的极速接入。此外，怎么保证模型的安全性和运行时的稳定性，也是我们考虑的重点。本次演讲中，我将分享通过如何用AoE实现模型接入的易用性、安全性、稳定性。



演讲大纲

1. AoE SDK设计

• 滴滴ifx推理框架设计
• AoE SDK架构设计
• 易用性设计
• 稳定性设计
• 安全性设计

2. Square小试牛刀

• 从配制开始——model.config
• 你要怎么处理数据
• 执行它

3. AoE在滴滴的应用

• 滴滴交通安全场景应用
• 二维码破坏码检测
• 仓库烟火检测
• 银行卡OCR

4. 未来与展望

听众收益

1. 如何聚集业务，快速完成AI模型的接入

2. 终端侧AI模型接入避坑指南

为了解决移动端 AI 在不同应用场景下的产品性能和用户体验，快手自研了 YCNN 端上深度学习推理引擎。该引擎在不同硬件平台做了适配和指令级优化，可以让复杂神经网络模型在运行时得到加速实现；并与模型压缩配合，减少模型在空间和时间上的消耗；同时不影响算法精度并保证技术创新水平，便于部署在受限制的端上环境中。本次演讲我将分享 YCNN 端上模型设计和高效引擎设计，希望能够让大家在自身端侧 AI 的探索上有所启发。

演讲提纲

1. 移动端AI应用场景

• 短视频拍摄
• 人体分析/场景理解
• 智能图像处理
• 智能美颜/风格化

2. 端上模型设计

• 重点要素
• 普适高效
• 基于引擎特性的模型设计
• 协同设计
• 生成式模型实时化
• 实时化难度与实战

3. 高效引擎设计

• 整体框架介绍
• 全平台覆盖/工具链
• 混合精度量化方案设计
• 定点与浮点混合使用
• 端上引擎的优化策略
• 算子融合/特殊优化/自动适配

4. 未来与展望

听众收益

• 端上 AI 实际的应用场景
• 移动端模型设计

为了在 Web 前端中应用百度 AI 能力，百度自研出百度 Paddle.js 机器学习前端预测库，用于简单快速部署 AI 能力到网页等 Web 前端应用中。Paddle.js 采用了压缩和并行化加载技术，来保证庞大的神经网络模型更快的下载完成；除了常规性能和精度优化方法，它还针对神经网络生成和计算优化部分根据 Web 前端特性进行了优化，保证在浏览器环境中快速的运行；针对智能化场景，多个模型的复杂情况也给出了适合 Web 前端的优秀实践。

演讲提纲

1. Web 前端智能化初探

• Web 前端 AI 应用场景
• 人像分割应用
• 手势交互应用
• 多模型复杂场景的应用

2. Paddle.js 助力 Web 智能化

• 整体框架组成部分
• 离线部分设计
• 在线部分设计
• 更简单的应用于web端
• 难度与挑战

3. 高效要素

• 常规优化策略
• 特殊优化方法
• 与端协同

4. 未来展望

听众收益

1.  了解 Web 前端中的 AI 应用场景
2.  如何在 Web 前端中实现 AI 能力