硬核科普！ Modem、ISP、DSP、NPU等单元有什么用？

相关阅读：

硬核科普！为什么SoC的性能取决于架构和工艺？

为什么说骁龙865最强？了解CPU和GPU架构！

Modem——网络先锋

如果PC机想要无线上网，就需要安装无线网卡。然而，在手机SoC领域，“无线网卡”（基带，也称为调制解调器或Modem）是SoC芯片内部的组件之一。它将确定手机支持的网络。格式、互联网接入和下载速度。

可集成、可插件

调制解调器不是SoC 的必需选项。芯片厂商可以根据产品定位选择将Modem直接集成到SoC中，也可以将其作为独立芯片与SoC一起焊接在手机主板上。

例如，高通骁龙855直接集成了骁龙X24 Modem，而骁龙865则取消了内置Modem设计，需要额外增加一块骁龙X55来连接互联网。

相对而言，直接集成Modem的SoC可以节省主板空间，并且在能耗方面表现更好。

2020年，新手机将配备5G SoC，它是支持5G的集成或插入式调制解调器。

有关5G SoC的网络性能对比以及影响其最大速度的因素，感兴趣的朋友可以阅读这篇文章《都是5G网速最多差3倍！毫米波到底是个什么鬼？！》。

与Modem一样，SoC的Wi-Fi和蓝牙模块也可以直接集成到SoC中，或者以外部芯片的形式实现。

例如，骁龙855直接集成了Wi-Fi和蓝牙单元，而骁龙865则需要外部独立的FastConnect 6800芯片来支持最新的Wi-Fi 6和蓝牙5.1网络。联发科天玑1000+ 是直接集成到SoC 中的Wi-Fi 6 单元的代表性示例。

理性看待Modem性能

目前，三大运营商均针对4G、5G网络采取限速策略。 4G的最大下行速率为300Mbps，而5G网络仅为1Gbps。

这意味着无论SoC集成或外挂式Modem的性能有多强，短期内都无法超过这个上限。

因此，在采购SoC和手机时，我们不需要过多关注Modem的最大理论速度，而应该重点关注其对5G功能的支持，比如是否支持双模组网、多少频率等。支持的频段、是否可以实现双卡5G全网通通信等等。

ISP—— 成像密钥

现在有很多智能手机都配备了同样的4800万或6400万像素传感器，但其相机成像的实际效果却存在很大差距。

手机厂商的成像算法优化是“软实力”，SoC中集成的ISP单元将决定“硬实力”。

ISP的含义

ISP是图像处理单元。一颗SoC可以支持多个摄像头，最高可以支持多少个像素传感器，可以录制多少分辨率和帧数（如8K/30FPS）视频，可以录制多少FPS慢动作，是否支持HDR 。视频，还有摄影、成像计算，都离不开ISP的支持。

也就是说，ISP规格越强，支持的相机就越先进，与同一款相机搭配使用时，成像体验就会越好（也不是绝对，成像算法需要复杂的软硬件配合，如果不做得不好，就会变成“负优化”）。

ISP 命名约定

在ISP的命名中，高通Snapdragon的命名或许是最规范的。比如，骁龙710集成的ISP单元型号是Spectra 250，骁龙765是Spectra 350，骁龙865是Spectra 480。通过后缀数字我们一眼就能看出。就能知道谁更强。

Kirin家族喜欢使用x.0注解。例如，Kirin 980/Kirin 810集成了ISP4.0，而Kirin 990则升级为ISP5.0。联发科的ISP更喜欢“芯”。例如Helio G90系列集成了3核ISP，而天玑1000 ISP则为5核。

DSP——不再简单

DSP是数字信号处理器。它最初主要用于处理音频信号，如语音降噪、数模转换、特殊音效的实现等。不过，在高通骁龙家族中，DSP单元的作用得到了进一步升华。

熟悉又陌生的DSP

我们都知道DSP是SoC的组成部分之一，但是在海思麒麟、联发科、三星的SoC的结构图中，我们根本看不到DSP单元的影子。不过，在高通骁龙移动平台中，DSP经常被重点强调，从骁龙660的Hexagon 680到骁龙865的Hexagon 698，后缀数字越大，性能越强。

DSP的跨境应用

随着VR/AR应用和AI人工智能的兴起，高通赋予了DSP单元更多的能力，包括矢量扩展（HVX）和Tensor加速器。

没办法，Snapdragon SoC从来没有集成过独立的NPU单元。其主打的“高通人工智能引擎AI Engine”需要CPU、GPU、DSP、内存、缓存等模块的配合。其他芯片厂商的SoC很早就引入了NPU模块，所以不需要对DSP进行大的改动。

NPU——因它而聪明

2017年底，华为推出麒麟970，首次引入NPU（神经网络处理器）概念，让SoC拥有更强的本地（设备端）AI计算能力（类似“硬解”） ，而且执行效率可以说是瞬间秒杀CPU的“软解”。此时，NPU单元就等同于AI。

从麒麟970的单核NPU、麒麟980的双核NPU，到最新的麒麟990 5G，都集成了2+1三核NPU。

人工智能无处不在

一开始，AI主要用于拍照。例如，取景时的智能场景识别功能，可以让系统快速识别拍摄的物体和场景，并自动进行优化调整。

随后，AI功能逐渐拓展，从手持超级夜景、AI语音助手、AI游戏引擎、AI网络加速、AI节能优化、AI智能识别、AI图像识别翻译……几乎所有应用场景都离不开。开启AI加速计算。

所以，一颗SoC芯片如果没有足够的AI算力，出去打招呼就太尴尬了。

不同的AI单位

不同品牌的SoC，AI单元的命名和实现方式略有不同。除了高通Snapdragon AI Engine中没有独立的NPU单元之外，联发科在Helio P60/P90中引入的NeuroPilot AI技术首先经过了多个单元。协同计算（APU+CPU+GPU，这个时期的集成APU并不是一个单独的硬件，它更像是Snapdragon DSP中新集成的张量加速器）。

但从天玑1000开始，联发科也推出了独立的AI处理器（APU3.0）。这款旗舰SoC在苏黎世AI跑分上已经可以超越麒麟990 5G。

三星从Exynos 9820开始在SoC内部集成了独立的NPU单元，新推出的Exynos 980和Exynos 990集成NPU单元的性能得到进一步增强。

三星Exynos 980 SoC的构成

需要注意的是，AI单元在手机日常应用领域仍处于起步阶段。它的重要性远远不及CPU、GPU和ISP。这是锦上添花。

其他——孤独英雄

除了上述“众所周知”的单元之外，手机SoC中还集成了很多功能模块。虽然他们不是很起眼，但是他们背后承担的任务也非常重要。

内存/存储控制器

我们都知道即将量产的LPDDR5内存的性能远胜于目前主流的LPDDR4X，而UFS3.0闪存的读取速度也能击败UFS2.1，但并不是所有的SoC都支持这些最新技术标准。以LPDDR5内存为例，目前只有骁龙865和Exynos 990有资格享受，而麒麟990和联发科天玑1000仅支持LPDDR4X。

协处理器

许多SoC都集成了一个称为“协处理器”的单元（例如高通Snapdragon SoC中集成的Sensor Hub、Kirin 980中集成的i8），并且大多数都是使用更省电的ARM Cortex-M系列架构构建的。它用作辅助CPU，对加速度计、陀螺仪、指南针、新气压计等传感器进行24/7不间断检测、统计和再处理，让您无需手动即可实现计步、开启GPS定位等功能担心耗电。

安全模块

得益于更加便捷的移动支付，很多用户已经*惯了“无现金消费”。然而，谁来保证手机隐私数据和支付相关认证的安全呢？为了解决这个问题，很多SoC开始集成专用的安全模块，比如麒麟芯片内置的inSE安全芯片、Snapdragon芯片集成的SPU安全处理器等等。

它们的作用是将人脸识别、指纹信息、ISP、DSP、内存等所有参与模块产生的安全数据存储在本地，而不需要上传到云端，从而最大限度地提高系统安全性。

其他模块