技术解读丨慧眼2.0，打造全球领先的全场景智慧体验.doc

《技术解读丨慧眼2.0，打造全球领先的全场景智慧体验.doc》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、技术解读丨慧眼2.0，打造全球领先的全场景智慧体验　　近日，华为最新一代卓越人工智能手机芯片麒麟980正式亮相，麒麟980在业内首次搭载双核NPU，实现业界顶级端侧AI算力，将支持更加丰富的AI应用场景。在加速端侧AI算力提升的同时，华为不断追求为用户带来体验升级——推出慧眼2.0，深入用户使用最多的拍照及小视频应用场景进行深度优化，提供端到端的解决方案。　　在IFA2018现场，麒麟980演示了全新的AI多人姿态实时识别能力。基于AI的强劲算力，搭载麒麟980的开发板能够实时精准识别多人的骨骼线条，在进行挥手、跳跃、舞蹈等大幅动作时，识别出的骨骼线条也会实时随身体变化。而这

2、项新奇的体验，与慧眼2.0之间也有着不可分割的联系。　　　　慧眼2.0，更智慧的视觉体验　　随着端侧AI技术的不断突破与发展，手机用户对AI应用的需求也随之增长。去年，麒麟970的AI技术推动手机拍照逐步向“慧眼”阶段演进，结合端侧AI的智慧算力，手机在拍照时能够识别多种复杂的拍照场景并自动设置最佳参数，轻松拍出大师级的摄影作品，带给用户全新的智慧拍照体验。　　时隔一年，“慧眼2.0”随着麒麟980的发布正式亮相。“慧眼2.0”在手机视觉入口提供了一个“感知、测量、认知、计算”的端到端完整解决方案，人工智能技术深度参与视觉处理的各个环节，通过后台基础算法的极大提升和流程优化，

3、让用户明显感知到体验的大幅增强。　　在慧眼2.0解决方案中，麒麟980的CPU/GPU/DSP/NPU构成了底层硬件，为上层的AI图像处理提供运算性能支持。在上层运算中，ISP和摄像头用于收集图像数据，经过AI运算，能够为手机用户带来图像、视频及AR方面的应用提升，带来更智慧的视觉体验。上述提到的AI多人姿态实时识别，正是通过摄像头收集人体动作的图像信息，再经过AI实时运算，实现了与AR相关的人体姿态能力，为将来的AI和AR体验开启无限想象。　　　　摄像头与ISP优化，麒麟980图像信息收集能力提升　　对手机用户来说，感受最直观的AI功能几乎都离不开摄像头，无论拍照还是小视频

4、，AI都需要通过摄像头获取图像信息。在手机摄影和摄像领域，华为有着多年深厚的技术积累，早在2014年华为在业内率先推出搭载双摄像头的荣耀6Plus，2016年华为开始与徕卡合作，让手机摄像头开始呈现相机画质，2018年初发布的华为P20Pro更是首创徕卡后置三摄，带来前所未有的AI摄影大师体验。可以说，在手机拍照领域，华为始终走在行业前列，并在这个过程中积累大量图像算法、镜头优化以及ISP相关的丰富经验与优化能力。　　与此同时，麒麟芯片持续优化摄像头的相关算法，通过端到端优化的方式不断提升手机的成像质量。麒麟980采用全新升级第四代自研ISP，像素吞吐率较上一代提升46%，支

5、持更多摄像头，适配多摄像头带来的全新拍照体验，分别针对视频和照片推出延迟视频处理流水线和高质量图像处理流水线，帮助手机用户捕捉更多清晰的图像内容，进一步强化图像信息的收集能力。　　端侧AI闭环架构，麒麟980AI图像处理能力升级　　基于麒麟980业界最强的端侧AI算力，麒麟980在接收到图像信息后可以实时完成多种复杂的运算处理。视频方面，麒麟980能够做到人体肢体的检测与识别，支持区域分割和主体抠图和视频跟踪追焦等功能，实时完成逐帧的画面处理；在处理图片时，麒麟980能够实现文本识别、图像超分辨率及RAW图像降噪、RGB还原等功能，让用户明显感受到AI拍照及摄像的体验提升。在

6、AI图像处理能力升级的背后，是华为在端侧AI不断探索完善的计算架构，将SoC芯片的强劲AI运算力与算法、数据以及终端设备形成完整闭环，发挥综合AI运算实力。　　　　AR能力升级，带来体验创新　　近年来，AR应用开始成为智能手机的亮点功能，用户可以通过AR在手机屏幕里看到现实世界与虚拟世界的结合，获得趣味体验。而AR效果的实现需要结合麒麟980的算法与AI图像识别能力，综合对图像进行处理。麒麟980支持AR应用的视频流特征提取、姿态估计以及地图重建，让更多AR应用的落地成为可能。　　基于以上能力，慧眼2.0将为广大手机用户带来全新的拍照及视频体验，同时面向广大开发者开放这一能力

7、，将华为HiAI移动计算架构完善的SDK、丰富的API接口、业界领先的算子支持以及华为开放完整的CameraDDK、ARDDK以及HiAIFoundation完整的开放架构，全部提供给开发者作为工具，让他们能够创造出更多丰富的应用体验。　　麒麟980开放架构，助力开发者探索智慧未来　　合作开放一直是华为在推进端侧AI发展的核心理念。麒麟980支持Caffe、Tensorflow、TensorflowLite等主流框架，具有强大的深度学习框架兼容性，达到业界领先水平；提供了离线编译、在线编译、8bit量化