【热门】CIS的新玩法

本篇文章3212字，读完约8分钟

【基金经理pk :董承非、傅鹏博、朱少醒、刘彦春等，谁更值得委托？ 【买基金是选择基金经理，什么样的基金经理值得托付？ 那些基金经理值得托付给你吗？ 怎样才能选择好的基金经理？ 金麒麟最优秀基金经理的评选，快给你心仪的基金经理投票吧！ 【投票】

资料来源:复印件是半导体领域注意( id:icbank )原件，作者:痛快秋，谢谢。

近两年，由于高端智能手机相机的数量翻了一番，cis(cmos图像传感器)的市场诉求急剧增加，索尼、三星、豪科学技术等几大cis制造商已经增加了研发和生产马力，但依然 在这种情况下，cis擅长的晶片代理和检查工厂也大受好处，生产能力非常紧张。 中国本土的一些功率器件、led驱动等ic设计制造商在2019年下半年找不到足够的晶片代工生产能力，但调查结果显示，部分晶片代工厂原本用于功率器件、led驱动ic等生产能力 而且，这种形势也“威胁”了以cis为焦点的ic设计制造商开始布局自己的封测工厂，甚至晶片工厂。

上面是cis在手机应用行业的玩法，除此之外，cis在另外两个行业有越来越大的应用。 汽车和安全，它们的市场规模现在仅次于手机，快速发展前景非常广阔，汽车自不必说，随着电动汽车、adas功能的普及，汽车用的各种芯片部件是潜力股，芯片制造商们正在飞跃性地尝试。 安全、道路交通、工厂使用的终端数量更多，分别需要cis。 更重要的是，与手机不同，这些应用大多是to b (商用)，cis对像素分辨率的要求没有高端智能手机用那么高的“噱头”，但对于低延迟、图像新闻解决的正确性和精度 安全、道路交通、工业应用行业，特别是安全是人工智能( ai )的首要落地点。

一些非常重要的是，应用程序的生态与手机不同，手机是to c (客户)，大多是独立的存在形态，安全等不同，很多终端(主要是照相机)连接到数据中心和云，因此， 这催生了cis的新玩法。

在cis中嵌入ai

新的玩法是把cis和ai更紧密地结合在一起，领导是cis领域的领导索尼。

ai在手机上的应用也很多，大多是与ap (应用解决方案)集成的协作。 为了安全和产业应用，索尼集成了cis和ai解决单元，赏心悦目。

我简单介绍一下这个小费。

imx500 (未打包版本)和imx500 (使用LGA包)不仅包括支持4k分辨率视频的1230万像素cmos，还包括可以进行机器学习的专用ai解决方案。

芯片结构上，imx500的像素芯片层叠在逻辑芯片的上部，但逻辑芯片不仅具有通常的图像传感器动作，还具有用于图像信号解析的isp和用于ai信号解析的dsp、ai模型专用的存储器。 这种配置消除了对高性能解决方案和外部存储的诉求。

如上所述，to b应用的cis设备大多连接到数据中心和云，终端的数据量增加，因此终端和云之间的数据和指令的频繁传输会带来延迟和新闻的安全问题，应用 为了应对该课题，以往传递的互联网解决方案、互联网存储提供商、通信芯片的提供商提供用于边缘侧的计算的协处理器，能够缩短数据通信距离和延迟，是分立的 索尼的方案旨在在照相机内集成ai协作解决功能，彻底处理与云的通信和延迟问题。

该解决方案的新闻过程是像素芯片取得的信号由传感器上的ai解决，传感器通过输出元数据(属于图像数据的意思新闻)而不是图像新闻来减少数据量，处理隐私问题。

使用以往传输的图像传感器记录视频时，需要向各个输出图像帧发送数据进行ai解决，数据传输增加，且难以提供实时性能。 索尼的这种新传感器在逻辑芯片上执行了isp解决和高速ai解决( mobilenet v1的解决时间为3.1毫秒)，在一个视频帧中完成了整个过程。 这个设计录制视频，提供对象的高精度实时跟踪。

客户还可以将自己选择的ai模型写入嵌入式存储，根据其要求和系统位置条件进行改写和更新。

是以前传下来的soc吗？

在理解了这个芯片的功能和性能之后，让我们回顾一下它的结构和技术。 但是，从公开的消息来看，索尼在这方面没有给出太多细节，只是传感器芯片在逻辑芯片上，使用了堆叠结构。

但是，今年2月，索尼宣布与法国科技企业prophesee (前身为chroncam )共同开发了“基于事物的堆叠式视觉传感器”，具有124db以上的hdr性能。 该传感器适用于检测在各种环境和条件下急速移动的物体等各种机器的视觉应用。

可以看出，这个合作副本与索尼新推出的imx500有很强的相关性。

据悉，通过组合索尼的堆叠型cmos图像传感器技术，采用cu-cu连接和prophesee的metavision event技术，实现了小像素尺寸和优异的低光性能。

在堆叠背面照射型cmos图像传感器(上部芯片)和逻辑电路(下部芯片)时，cu-cu连接技术通过连接的cu (铜)焊盘提供电连续性。 与硅维亚( tsv )布线相比，通过在像素区域的周围贯通电极进行连接，与tsv相比，设计上的自由度高，生产率提高，可以进一步小型化和性能提高。

在这种堆叠结构中，上下两个单独芯片的各像素通过cu-cu电连接。 此外，该传感器使用40nm的逻辑工艺。

那么，这个合作项目和imx500是以前传递过soc，还是类似于使用以新英特尔和amd为代表的先进封装和内部互联技术的chiplets？ 索尼好像还没有确定证明。

应用。

很明显，imx500与高端智能手机应用程序相比。 从销售价格可以看出，imx500的价格约为93美元，imx501约为187美元。

此芯片的目标应用程序方案是工业摄像机和特定任务的摄像机，如零售店和工厂。 如果有人员进入照相机跟踪ai，就能知道有多少人经过商店，拆除那些地区最受欢迎。 工厂可以跟踪产品，强调生产方面和人员配置方面的问题。

另外，如果是汽车，例如，传感器可以检测到驾驶员分心或睡着了，可以向汽车发送警告。 集成ai的方式比采用外部解决方案的cis方式简单可靠，系统价格低。

玩家不仅仅是索尼。

在cis中引入ai的想法不仅有索尼，还有三星、豪、安森美、sk海格力斯、意大利半导体等市场上最主要的cis制造商，正在这方面进行开发。

以安森美为例，这家企业在世界cis市场上名列前五，但在汽车的应用方面，安森美领先。

下图是安森美开发的关于ai的深度感知应用，具体是门禁的面部识别和防伪。 在这个用例中，用照相机提供彩色图像和深度图像，2d照片识别后的效果是没有深度数据的平面。 因此，通过cnn (卷积神经网络)的深度学习提高了感知的可靠性。

但总体来看，安森美的图像识别+ai方案还处于开发和尝试阶段，应用普及还需要时间。

其他一些正在进行cis+ai应用研究，但现阶段的公开新闻很少。

边缘ai的落地

ai确实是个好东西，但其应用场景落地一直是个大课题，特别是边缘方面。 现在，ai主要应用于数据中心和云，多使用以前传来的gpu和cpu，甚至专用的高性能ai解决方案，但这样的例子很少，典型的是Google自研的tpu系列ai解决方案

另一方面，在边缘侧和终端，由于实用应用有限，以及现阶段开发的专用ai芯片多，所以价格高，通用性也不强，因此市场上ai概念盛行，但很多新创的ai企业日子不太好，特别是边缘侧专用ai

索尼和安森美等以前传来的cis制造商，通过在其芯片内编入ai功能，用于边缘侧，支持应用场景。 首先，ai在视觉和图像行业应用最广泛，而cis在这样的行业中使用。 另外，在物品的互联网终端中，对消耗电力的要求极高是mcu+传感器的特征，在边缘侧，一边具备一定的计算能力，一边控制价格(介于云和终端之间)，将数据收集和ai解决方案一体化的方法

但是，像集成ai的cis这样的边缘应用程序可能很难实现初创企业。 首先，请允许以前传达的idm制造商玩。

全天候滚动播放最新的财经信息和视频，越来越多的粉丝福利扫描二维码备受关注( finance )。