利用AI算法实现动态视频降噪器

基于人工智能(AI)的解决方案已用于跨行业的各种应用中，以控制和优化特定用例的操作。这些解决方案涵盖了从农业、汽车到医疗保健和制造业的广泛应用。实时图像和视频处理就是这样一个用例，其中AI在分析、识别和从图像中提取所需信息方面发挥着重要作用。利用相机图像，各种专用传感器对数据进行处理，以便进一步分析。由于图像或视频的质量取决于诸如相机传感器的类型/大小、以及照明条件等因素，因此实现通用图像处理系统变得至关重要。

在弱光条件下，相机传感器捕获的光子较少，图像暗淡。除了照明条件差之外，大动态范围的光线、大雾、降雨和光强度的突变，都会使图像信号质量变差且充满噪声。这些图像或输入信号需要被放大以获得清晰的图像，但当放大这些输入信号时，其中的噪声亦会被放大，从而使图像失真更严重，分析则变得更困难。

位于耶路撒冷的以色列Visionary.ai公司，开发了基于AI的软件算法。该算法对图像输入进行处理，以备用于进一步分析。这家初创公司声称，在没有使用任何硬件设备的情况下，生成了极高质量的图像。该公司联合创始人兼首席执行官Oren Debbi告诉EE Times Europe，“他们的旗舰ISP(图像信号处理器)是一个软件解决方案，可以部署在边缘，来提供图像增强服务。该ISP具有对其他图像捕获系统的广泛兼容性，从而可以轻松集成几乎任何基于相机的设备。”

公司是包括Arm和BrainChip等著名公司的边缘AI和视觉联盟(Edge AI and Vision Alliance)的成员。公司基于软件的ISP，通过空中传送(OTA)技术简化了错误纠正和更新过程，该技术支持满足客户需求的定制软件。基于AI功能和OTA可升级性，支持实现灵活定制，从而确保产品的相关性，并且未来不会过时。

“用于笔记本电脑、医疗内窥镜检查、安全倒车、电子门铃、流水线质量检查等的摄像头、以及数百种其他应用的图像传感器市场正在强劲增长。我们基于软件的ISP正在不断更新优化算法，以使这些传感器能够创建尽可能高质量的图像，从而使人们能够保持高质量的连接、健康和安全，”Debbi说道。

视频降噪器

视频降噪是该公司最新的产品之一，旨在放大微弱的光信号，同时防止图像中的噪声被放大，使图像更清晰。基于AI的算法以前也用于降低图像噪声，但主要都是用于静止图像，而不是实时视频。Debbi表示，“降噪器是一款小型的边缘和AI软件，可以部署在小型处理器上。从而可大幅降低成本，并节省为降低噪声和提高图像质量而所需的改善外部照明、采用更大的摄像头传感器、以及其他硬件更新所需的能耗。”

图1：用于不均匀照明场景的降噪器。

将图像传感器输出的原始数据馈送给降噪器，从而消除了因后处理而导致的退化。图像处理的传统方法是使用算法来压缩和平滑图像，这又擦除了连续帧之间的时间信息。输送给AI的原始拜耳图像传感器输出数据，可以识别并滤除更多的噪声。

图2：Visionary.ai的图像处理架构框图。

Debbi也声称，Visionary.ai是第一家提供软件降噪器的公司，该降噪器可以独立使用，或与所提供的ISP一起使用。由于其灵活性，降噪器的应用极为广泛，从监控摄像机、无人机图像和卫星图像，到几乎所有使用摄像机的广泛应用。Debbi说：“市面上大约有70亿个图像传感器，其中85%的传感器应用领域没有受控的照明条件，这使得降噪器成为改善这些成像系统的强有力解决方案。”

图3：降噪器在车牌识别中的应用。

与开源降噪器相比，其架构和持续改进使降噪器代表着成像应用的“最高水平”。在AI和计算机视觉领域，像open CV和Detect这样的开源软件，虽然也提供了令人满意的准确性，但我们投入的大部分工作和努力，是将准确性从90%提高到95%及以上，并使产品具备批量生产条件。“我们对自己的降噪器的卓越性能充满信心，并希望在客户投入资源之前，让他们的工程团队尽可能轻松地体验、对性能进行充分评估和比较”，Debbi表示。

AI已经进入机器人、工业、医疗保健甚至农业等各个行业和应用领域。几乎所有这些应用场景都在动态照明条件下使用相机，并且捕获的图像中包含可能使其难以分析的噪声。这正是降噪器的用武之地。由于开源降噪器仅有90%的准确性，故尚未做好批量生产和商业推广的准备。Visionary.ai声称其基于AI的降噪器，是市场上最安全、最准确的基于软件的降噪工具，重量轻，易于更新和修改，可满足众多客户需求。

(参考原文：visionary AI introduces video denoiser for low light conditions）

本文为《电子工程专辑》2023年1月刊杂志文章，版权所有，禁止转载。点击申请免费杂志订阅