登陆

极彩注册机-TensorFlow 亚太研制负责人李双峰:TensorFlow Lite 怎么衔接国际?

admin 2019-06-07 230人围观 ,发现0个评论

轻量、快速、兼容度高,TensorFlow Lite 正是人工智能开发和移动化最好的结合。

机器学习的开展改动着健康医疗、言语沟通和城市交通等咱们日子中的许多范畴,越来越多的企业、安排乃至是个人尝试用机器学习处理事务或许日子中遇到的难题。开发者数量的许多添加也意味着需求下降技能难度,让更多人参加进来。

在 2015 年末,Google 开源了端到端的机器学习开源结构 TensorFlow:它既可以用于研讨,也可以用于大规模生产范畴;它既支撑大规模的模型练习,也支撑各种环境的布置,包含服务器和移动端的布置;支撑各种言语,包含 Python,C++,Java,Swift 乃至 Java。TensorFlow 供给全面灵敏的专业东西生态体系,协助处理各种困难的问题。而近年来移动化浪潮和交互方法的改动,使得机器学习技能开发也在朝着轻量化的端侧开展,所以 TensorFlow 团队又在 2017 年末上线了 TensorFlow Lite,一个轻量、快速、兼容度高的专门针对移动式运用场景的深度学习东西,把移动端及 IoT 设备端的深度学习技能的门槛再次大大下降。

极彩注册机-TensorFlow 亚太研制负责人李双峰:TensorFlow Lite 怎么衔接国际?

在 BMW GeekPark Rebuild 2019 科技商业峰会上,极客公园约请到了 TensorFlow 亚太研制负责人李双峰来谈一谈现已在全球 20 亿台设备上布置的 TensorFlow Lite 在技能上的新打破以及未来运用的远景。

以下是 Google TensorFlow 亚太研制负责人李双峰在 BMW GeekPark Rebuild 2019 科技商业峰会上的讲演实录(经极客公园编辑整理):

李双峰:咱们好,我是 Google TensorFlow 的李双峰,今日我来跟咱们同享:TensorFlow Lite:敞开智能互联日子的新或许。

随同移动和 IoT 设备的遍及,世界以超乎幻想的方法存在被衔接的或许,现在已有超越 32 亿的手机用户和 70 亿的联网 IoT 设备(不包含手机、PC等)。而跟着手机本钱不断下降,而且跟着微操控器(MCU)和微机电体系(MEMs)的开展,高功用低功耗的芯片使得“万物”智能具有了或许性。从智能家居到家用机器人,从同享单车到智能穿戴,从工业操控到车载设备…这些设备都有智能化的根底。

边际设备的数据传输到云端处理并非是最经济有用的方法,经过云端传输会有推迟,然后影响体会。

从用户端来看,他们关于交互的需求越来越高的,快速、及时的智能反响是顾客的遍及等待,这极彩注册机-TensorFlow 亚太研制负责人李双峰:TensorFlow Lite 怎么衔接国际?就给端侧的机器学习带来许多远景。以智能音箱为例,唤醒的反响速度,是杰出体会的根底。

端侧机器学习的优势使得智能互联有了新的或许性:

1)更快更严密的交互方法,由于模型在本地履行,推迟小;

2)在没有很好网络的情况下依然可以很好的供给服务;

3)更好的维护隐私,由于在本地进行数据搜集和处理,削减数据上传。

可是完成端侧机器学习有许多应战,主要是三个方面:

1)端侧算力有限,约束了模型的杂乱度;

2)端侧内存有限,约束了能运转的模型巨细;

3)电力有限,需求模型运算功率更好,比方关于咱们所熟知的智能手表而言,省电是一个很重要的考虑。

作为开源的机器学习生态体系 TensorFlow 的一部分,TensorFlow Lite 致力于协助企业战胜这些困难,然后简化移动设备和嵌入式设备的布置。

做为布景,我简略介绍一下 TensorFlow。TensorFlow 是一个端到端的开源的机器学习渠道,咱们日常触摸的智能服务比方语音辨认、图画处理和智能引荐等,背面许多都是依据 TensorFlow 开发的。TensorFlow 可以用于前沿的研讨也可以用于生产范畴大规模运用,可以支撑大规模数据的练习也可以支撑各种环境的布置,你可以用 Java、Python、Swift 乃至 Java 等各种言语来写。TensorFlow Lite 是 TensorFlow 十分重要的一部分,专心于让咱们更好的布置移动端的机器学习运用,「一次转化,到处布置」,包含安卓、ios,Linux,还包含更小的芯片,比方微操控器 MCU 这样的渠道。

方才讲了三个应战,算力有限,内存有限,电量有限,怎样样处理这样的布置难题呢?这正是 TensorFlow Lite 所专心处理的问题:榜首,咱们很期望咱们布置端侧的机器学习模型时,模型转化起来很快捷,布置十分快;第二咱们以为功用十分要害;第三便是期望有更多模型优化的空间。TensorFlow Lite 便是为速度规划而生,供给了快捷的转化率,让咱们在移动端布置更快,也意味着开发功率会更高。其次,咱们期望更快一些,这是功用的问题,咱们会尽量运用手机端硬件加快。第三,期望运转环境更小一下,模型更小一些。

下面介绍一下 TensorFlow Lite 的全体架构,帮咱们更好地了解一下 TensorFlow Lite 怎样面对这些应战。

榜首点便是更小的模型格局,并供给了便利的模极彩注册机-TensorFlow 亚太研制负责人李双峰:TensorFlow Lite 怎么衔接国际?型转化器,可以把比较大的 TensorFlow 模型便利地转化成更小的 TensorFlow Lite 模型。第二有更小的解说器,安卓运用只需 1 兆左右的运转环境,在 MCU 上乃至可以小于 100KB。第三,在硬件加快层面,关于 CPU 运用了 ARM 的 NEON 指令集做了许多的优化。一起,Lite 还可以运用手机上的加快器,比方 GPU 或许 DSP(行将支撑)等。别的,最新的安卓体系供给了 Android 神经网络 API(Android NN API),让硬件厂商可以扩展支撑这样的接口,常常听到的 NPU 是专门为神经网络加快规划的芯片,NPU 可以支撑 NN API,而 Lite 可以调用 NN API,然后运用 NPU 加快。

更激动人心的远景发生在 IoT 范畴,TensorFlow Lite 可以支撑微操控器 MCU,而 MCU 是单一芯片的小型核算机,没有操作体系,只要内存,或许内存只要几十 KB,全球有超越一千五百亿的 MCU,许多设备上都有 MCU。咱们发布了 MCU 上的语音辨认的模型,可以辨认若干要害词,言语模型只要 20KB 左右。一起咱们还在构建 MCU 上的图画辨认模型,估计只要 250KB。

这儿面有很大的幻想空间。举个比方,一些小玩具里边或许有 MCU 这样小的芯片,你呼叫它的呢称时就有一些反响,你还可以让这个玩具在做一些设定的动作时会有一些反响,这些才能都依靠于小的低功耗的 MCU 上的机器学习的才能。让 MCU 上都可以布置机器学习的模型时,智能开端无处不在。

TensorFlow Lite 还供给了很强壮的优化东西,可以在精度丢失很小的情况下,模型大大被紧缩。常见的一个概念叫量化,4 字节的浮点数模型可以转化成 1 字节的整数模型,模型可以缩小 4 倍。另一个常用的技巧是剪枝,可以去掉一些杂乱的树枝和衔接,模型的参数就会大大削减。这样咱们更进一步获得模型的紧缩 5 到 10 倍的作用。正是有十分强壮的优化东西,将模型的巨细大大削减,因而得以布置到各种移动设备上。

咱们经过不断尽力,TensorFlow Lite 获得了十分好的运转速度。比方 MobileNet V1, 是咱们规划的适用于移动的开源模型,单线程的情况下,在 Pixel3 上可以获得 83 毫秒的速度,假如用量化的技巧可以加快 1.8 倍,假如用 GPU 可以加快 5.5 倍。假如运用 DSP,则加快可以说到 13.8 倍。可以幻想在一个一般手机上就可以处理几十帧的功率。

之前谈了端侧机器学习的基本概念,下面看一看有意思的一些 Demo。Dance Like 是咱们在 Google IO 发布的一个依据 TensorFlow Lite 的运用。期望经过动作辨认来进行舞蹈辨认。咱们在手机上运转五个不同的使命,且不献身功用,下面看看咱们是怎么做到的。

榜首步运转两个身体部位的图画切割模型,第二步依据切割模型进行匹配和打分。第三和第五步别离进行播映录制的视频,一起进行视频的解码,而且做运转时的调整。有五个不同的使命在手机上运转,调用了 CPU 和 GPU 资源,可以获得十极彩注册机-TensorFlow 亚太研制负责人李双峰:TensorFlow Lite 怎么衔接国际?分好的功用,这证明了端侧的机器学习有十分强壮的功用。

愈加激动人心的范畴是在于端侧的语音辨认,不久前咱们,宣告了最新研讨的彻底依据神经网络的端侧语音辨认,作用和依据服务器端的作用十分挨近,精度没有太大的丢失,这代表着端侧机器学习年代的逐渐到来,端侧语音辨认是比较难的问题,咱们在这方面有许多发展,一方面是算法和技能层面有许多打破,别的一方面依靠 TensorFlow Lite 的结构协助咱们获得很的高功用。

别的这样的功用还可以离线运转,可以想像咱们拿着手机在没有信号的时分语音辨认都可以很好的作业。咱们也依靠于许多紧缩的技巧,左边服务器模型需求 2G 巨细,右侧只需求 80 兆。咱们本年的 Google IO 咱们也说到了 Live Caption,可以在手机端离线把语音转化成文字。在未来,许多才能都可以在设备端履行,并不需求到云端。

端侧机器学习在文本、语音、图画和音频方面都有十分广泛的幻想空间。全球有超越 20 亿的设备上布置着 TensorFlow Lite,这个数字还在不断添加傍边。Google 自己的产品许多布置 Lite,比方 Google Assistant(布置在十分多元的设备上,比方手机端、手表、车载和智能音箱),Google Photos 等;也可以看到世界巨头像 Uber,Airbnb 等,还有国内大的公司比方网易、爱奇艺等都在运用 TensorFlow Lite。还有更多元的 TensorFlow Lite 的场景。

榜首个比方是闲鱼,闲鱼是搁置物品的买卖市场,面对的问题是更好服务非专业的卖家,经过运用机器学习的协助,让买卖双方有更轻松的买卖。主动给一些标签,辨认这个相片里边有没有家具,提高了发布的功率。TensorFlow Lite 给闲鱼的端侧体会供给了很好的协助。别的一个比方来自于科沃斯,是国内家用机器人的领导者,怎么让用户用更少的时刻进行打扫作业是他们不断寻求的方针。科沃斯运用了机器视觉的协助,可以辨认这个进程中的一些障碍物,他们挑选了用 TensorFlow Lite 布置深度神经网络,将推理速度提高了 30%,提高了用户的体会。

TensorFlow Lite 也十分合适工业物联智能设备的开发,由于它很好地支撑如树莓派及其他依据 Linux SoC 的工业主动化体系。创别致智运用 TensorFlow Lite 开发智能质检一体机、智能读码等工业软硬一体化智能产品,在 PC 端练习模型,在端侧布置模型。他们的作业现已被运用到工业质检等场景,比方用于服装厂的快速质检。

还有一个比方是出门问问,是语音交互软硬件为中心的智能产品公司,热词唤醒是用户对语音交互榜首个形象,精确、实时、轻量化的唤醒十分重要。特别是待机的时分坚持低能效,十分重要。经过 TensorFlow Lite 布置的端侧模型,可以给予确保高唤醒率和低错误率,一起坚持运转环境十分轻量化。

最终咱们谈一个重要的论题,便是数据隐私。在不久前举行的 Google I/O 大会的主题讲演傍边说到的联邦学习(Federated Learning),可以很好的处理的这个难题。联邦学习是一种新的机器学习方法,它不需求从设备中搜集原始数据,每个设备会核算一个部分的模型,把这些部分模型的参数更新安全地上传到服务器端,服务器端就可以聚合许多的部分模型,构成一个大局模型,最终大局模型发回到用户手机中。可以看到,整个进程傍边并不需求搜集用户实在的输入数据,可以很好的确保用户隐私,一起完成更好的体会。

谷歌键盘输入法 Gboard 现已迁移到这项技能中,当一个新的单词盛行的时分,联邦学习答应成千人在刚开端运用后就很快学会新的单词。而 Google 自身并未看过你输入的内容。

最终无论是个人开发者仍是企业,TensorFlow 都期望供给不断优化的开源技能,协助咱们处理问题,发明未来。谢谢咱们。

声明:该文观念仅代表作者自己,搜狐号系信息发布渠道,搜狐仅供给信息存储空间服务。
请关注微信公众号
微信二维码
不容错过
Powered By Z-BlogPHP