当前位置: 软件志 >资讯 > 硬核科普!Modem、ISP、DSP、NPU等单元到底有啥用?

硬核科普!Modem、ISP、DSP、NPU等单元到底有啥用?

更新时间:2020-05-25 09:34:12    浏览次数:424+次

在Android系统生态中,单纯的处理器(CPU+GPU)性能并不能决定最终的用户体验,其背后还涉及到网络、系统和应用层面的优化(如各种游戏、网络加速引擎)、多核调度能力以及安全设计。接下来,我们就再来探秘一下SoC中其他构成单元的作用。

硬核科普!Modem、ISP、DSP、NPU等单元到底有啥用?图片

Modem——网络先锋

PC要想无线上网需要安装无线网卡,但在手机SoC领域,“无线网卡”(基带,又称调制解调器或Modem)则是SoC芯片内部的组成部分之一,它将决定一款手机所支持的网络制式以及上网、下载速度。

可集成可外挂

Modem并非SoC的必选项,芯片商可以根据产品定位,选择将Modem直接集成进SoC,或是以独立芯片的形式,与SoC一起焊在手机的主板上。

比如,高通骁龙855就直接集成了骁龙X24 Modem,而骁龙865则取消了内置Modem设计,需要搭配额外的骁龙X55才能联网。

硬核科普!Modem、ISP、DSP、NPU等单元到底有啥用?图片1

相对来说,直接集成Modem的SoC可以节省主板空间,在能耗方面的表现更好。

2020年,新款手机都会搭载5G SoC,即集成或外挂支持5G的Modem。

和Modem一样,SoC的Wi-Fi和蓝牙模块也能选择直接集成在SoC,或是通过外挂芯片的形式实现。

硬核科普!Modem、ISP、DSP、NPU等单元到底有啥用?图片2

比如,骁龙855就直接集成了Wi-Fi和蓝牙单元,而骁龙865则需要外挂独立的FastConnect 6800芯片,才能支持最新的Wi-Fi 6和蓝牙5.1网络。联发科天玑1000+则是直接在SoC内集成了Wi-Fi6单元的代表。

硬核科普!Modem、ISP、DSP、NPU等单元到底有啥用?图片3

理性看待Modem性能

目前,三大运营商对4G和5G网络都采取了限速的策略,其中4G最高下行速率为300Mbps,而5G网络也不过1Gbps。

这意味着,无论SoC集成或外挂的Modem性能有多强,短期内都无法超过这个上限。

硬核科普!Modem、ISP、DSP、NPU等单元到底有啥用?图片4

因此,在选购SoC和手机时,我们也无需太过在意Modem的最大理论速率,而是应该把注意力放在它对5G功能的支持上,比如是否支持双模组网、支持多少频段、能否实现双卡5G全网通等等。

ISP——成像关键

如今配备相同4800万或6400万像素传感器的智能手机有很多,但它们拍照成像的实际效果却存在很大的差距。

源于手机厂商方面的成像算法优化属于“软实力”,SoC内集成的ISP单元将决定“硬实力”。

ISP的意义

ISP即图像处理单元,一款SoC能支持几颗摄像头,支持最高多少像素的传感器、可以录制多少分辨率和帧数(如8K/30FPS)的视频、支持拍摄多少FPS的慢动作、是否支持HDR视频,以及拍照成像的计算,都离不开ISP的支持。

硬核科普!Modem、ISP、DSP、NPU等单元到底有啥用?图片5

换句话说,ISP规格越强,就支持更先进的摄像头,在搭配相同摄像头时具备更好的成像底蕴(不是绝对,成像算法需要复杂的软硬协同,弄不好就变成了“负优化”)。

ISP的命名规范

在ISP的命名中,高通骁龙的命名也许是最规范的,比如骁龙710集成的ISP单元型号为Spectra?250、骁龙765为Spectra 350、骁龙865是Spectra 480,通过后缀数字我们一眼就能知道谁更强。

麒麟家族则喜欢用x.0标注,比如麒麟980/麒麟810集成了ISP4.0,而麒麟990则升级到ISP5.0。联发科的ISP更爱“堆核”,比如Helio G90系列集成了3核心的ISP,而天玑1000的ISP则拥有5个核心。

DSP——不再单纯

DSP即数字信号处理器,它原本主要用于处理音频信号,比如语音降噪、数模转换和实现特殊音效等。只是,在高通骁龙家族中,DSP单元的作用得以进一步升华。

熟悉又陌生的DSP

我们都知道DSP是SoC的组成部分之一,但在海思麒麟、联发科和三星旗下SoC的结构图中,我们根本看不到DSP单元的影子。但是,在高通骁龙移动平台中,DSP往往会被重点标注,从骁龙660的Hexagon 680一路升级到骁龙865的Hexagon 698,后缀数字越大性能越强。

硬核科普!Modem、ISP、DSP、NPU等单元到底有啥用?图片6

DSP的跨界应用

随着VR/AR应用,以及AI人工智能的兴起,高通赋予了DSP单元更多能力,其中就包括向量扩展(HVX)和Tensor张量加速器。

没办法,骁龙SoC一直都没有集成独立的NPU单元,其主打的“高通人工智能引擎AI Engine”需要CPU、GPU、DSP、内存、缓存等模块协同作战。而其他芯片商的SoC很早以前就引入了NPU模块,所以无需让DSP进行太大的改变。

NPU——聪明靠它

2017年底,华为推出的麒麟970第一次引入了NPU(神经网络处理器)概念,让SoC也具备了更强的本地(端侧)AI运算能力(类似于“硬解”),执行效率可以秒杀CPU的“软解”。至此,NPU单元就与AI划上了等号。

硬核科普!Modem、ISP、DSP、NPU等单元到底有啥用?图片7

从麒麟970的单核NPU、麒麟980的双核NPU,到最新的麒麟990 5G已经集成了2+1三核NPU

无处不在的AI

最开始,AI主要还是用于拍照,比如取景时的智能场景识别功能,让系统可以快速识别拍摄的物体和场景,并自动做出优化调教。

随后,AI功能逐渐拓展,从手持超级夜景、AI语音助手、AI游戏引擎、AI网络加速、AI节能优化、AI智慧识别、AI识图翻译……几乎所有的应用场景都离不开AI加速运算。

因此,一颗SoC芯片如果没有足够的AI动力,都不好意思出门打招呼。

不一样的AI单元

不同品牌的SoC,对AI单元的命名和实现方法略有不同,除了高通骁龙AI Engine引擎之中没有独立的NPU单元以外,联发科在Helio P60/P90引入的NeuroPilot AI技术最早也是通过多个单元协同计算(APU+CPU+GPU,这个时期集成的APU并非单独的硬件,它更像是骁龙DSP中全新集成的张量加速器)。

硬核科普!Modem、ISP、DSP、NPU等单元到底有啥用?图片8

但从天玑1000开始,联发科也推出了独立AI处理器(APU3.0),这颗旗舰级SoC在苏黎世AI中的跑分成绩已经可以超越麒麟990 5G。

三星从Exynos 9820开始在SoC内部集成了独立的NPU单元,最新推出的Exynos 980和Exynos 990集成的NPU单元性能也得以进一步增强。

硬核科普!Modem、ISP、DSP、NPU等单元到底有啥用?图片9

三星Exynos 980 SoC的构成

需要注意的是,如今AI单元在手机日常的应用领域还处于初级阶段,它的重要性还远不如CPU、GPU和ISP,属于锦上添花的存在。

其他——寂寞英雄

除了上述“知名”的单元,手机SoC内还集成有很多功能模块,它们虽然不太起眼,但背后承担的任务也非常重要呢。

内存/存储控制器

我们都知道即将量产的LPDDR5内存性能远胜当前主流的LPDDR4X,而UFS3.0闪存的读取速度也可以秒杀UFS2.1,但并不是所有SoC都支持这些最新的技术标准。以LPDDR5内存为例,暂时只有骁龙865和Exynos 990有资格享用,麒麟990和联发科天玑1000只支持到LPDDR4X。

协处理器

很多SoC内都集成有一个名为“协处理器”的单元(如高通骁龙SoC内集成的Sensor Hub、麒麟980内集成的i8),它们大多采用更加省电的ARM Cortex-M系列架构打造,作用是辅助CPU,用于对加速感应器、陀螺仪、指南针和全新气压计等传感器进行7×24小时不间断的检测、统计、再加工,可让你安心进行计步、开启GPS定位等功能而不必担心耗费电力。

安全模块

得益于更加方便的移动支付,很多用户都已经习惯了“无现金消费”。然而,谁来确保手机内隐私数据和支付相关认证的安全?为了解决这一问题,很多SoC都开始集成专用的安全模块,比如麒麟芯片内置的inSE安全芯片、骁龙芯片集成的SPU安全处理器等等。

硬核科普!Modem、ISP、DSP、NPU等单元到底有啥用?图片10

它们的作用,就是可以将人脸识别、指纹信息、ISP、DSP、内存等所有参与模块生成的安全数据都保存在本地而无需上传云端,从而最大限度提升系统安全性。

其他模块

SoC中还集成有显示、音频和视频单元,它们会影响手机能使用多少分辨率的屏幕、支持哪些格式的音频/视频编解码。此外,一款手机所能兼容的快速充电技术,也受到SoC内某些单元的牵制,比如骁龙710仅支持QC4快充,而骁龙675却能支持效率更高的QC4+。还好,这些单元模块对SoC的性能几乎无影响,我们只需简单了解即可。

文/电脑爱好者