近日,索尼(Sony)公司宣布即将发布两款智能视觉传感器:IMX500和IMX501,这是全球首款配备人工智能(AI)处理功能的CMOS图像传感器。该CMOS图像传感器自身集成AI处理功能,可以实现高速边缘AI处理和提取必要的应用数据。当使用云服务时,利用该AD8009ARZ传感器构建的视觉系统可减少数据传输延迟,解决隐私问题并降低功耗和通信成本。
索尼智能视觉传感器为广大应用开发者提供了研发配备AI功能的摄像头的机会,通过高速数据处理可实时跟踪目标对象,应用领域包括智慧零售、智能安防、智能交通及智慧工业等,并且有助于构建链接云服务的最佳视觉系统。
智能视觉传感器(左:IMX500;右:IMX501)
物联网的普及导致各种各样的设备都将连接到“云”,并且从这些设备获取的信息可通过云AI处理,这使得云信息处理系统的使用变得司空见惯。但是,在云中处理的信息量不断增加,带来了各种问题:数据传输延迟增加,阻碍了实时信息处理;将个人身份数据存储在云中,造成用户安全问题;云服务带来的其它问题,如电力消耗和通信成本的增加……
索尼智能视觉传感器由像素阵列芯片(感光功能)和逻辑电路芯片(包括计算和存储功能)进行3D堆叠而成,是全球第一款在逻辑电路芯片上集成AI图像分析和处理功能的CMOS图像传感器。其中,像素阵列芯片获取的信号利用传感器中的AI处理,无需高性能处理器或外部存储器,从而使边缘AI系统得以发展。该传感器输出元数据(属于图像数据的语义信息)而不是图像信息,从而减少数据量并解决隐私问题。此外,边缘AI可以为通用应用提供多种功能,例如具有高速AI处理的实时对象跟踪,也可以根据用户需求或系统使用位置等条件,通过重写内部存储器来选择不同的AI模型。
像素阵列芯片采用背照式(BSI)工艺,有效像素约为1230万,可在宽视角下捕捉图像信息。除了传统的CMOS图像传感器运算电路外,该逻辑电路芯片还集成了索尼专用于AI信号处理的数字信号处理器(DSP),以及用于AI模型的存储器。这种配置消除了对高性能处理器或外部存储器的需求,使其成为边缘AI系统的理想选择。
像素阵列芯片获取的信号先通过ISP(图像信号处理器)处理,然后在逻辑电路芯片上进行AI处理,提取的信息作为元数据输出,从而减少处理的数据量。另外,确保不输出图像信息有助于降低安全风险并解决隐私问题。除了传统CMOS图像传感器记录的图像信息外,用户还可以根据自己的需求和用途选择数据输出格式,包括ISP格式输出图像(YUV/RGB)和ROI(感兴趣区域)特定区域提取图像。
当使用传统CMOS图像传感器拍摄视频时,必须为每个单独的输出图像帧发送数据以进行AI处理,从而导致数据传输量增加,并且难以提供实时处理。索尼智能视觉传感器在逻辑电路芯片上执行ISP处理和高速AI处理(MobileNet V1的处理时间为3.1毫秒),从而在单个视频帧中完成整个过程。这种设计使得“在录制视频的同时提供高精度、实时的目标跟踪功能”成为可能。
用户能够将自己选择的AI模型写入嵌入式存储器中,并可根据用户要求或系统使用位置等条件对其进行重写和更新。例如,当在零售商场安装集成智能视觉传感器的多个摄像头时,应用可以横跨不同的时间、地点(环境)或目的。当安装在商场入口时,它可以用来统计访客数量;当安装在商店货架上时,它可以用来检测库存短缺情况;当安装在商场天花板上时,它可以用于绘制商店访客热图(检测客户聚集的位置)等。同时,用户可以随时改写这些摄像头中的AI模型,比如从“用于检测热图的模型”改成“用于识别消费者行为的模型”。