Tel 010-61934861

Mail tm@tsingmicro.com

Add 北京市海淀区宝盛南路1号院26号楼领智中心南楼2层

首页 / 新闻

清微智能视频会议人脸追踪解决方案 感受丝滑镜头转换体验

Time:2021年12月6日 | Author:清微智能

视频会议系统,英文为(Video Conference System),顾名思义,指在不同地理位置的两个或多个人或群体,借助各种通讯设备,通过图形、声音等进行互动交流的系统。

一套完整的视频会议系统一般由多点控制单元(MCU)、视频会议终端、摄像头、麦克风、触摸屏、显示大屏构成。

近些年,视频会议系统市场发展迅速,而随着技术的发展,视频会议系统在追求安全性、可靠性之外,更强的适用性要求被提上日程,通过对发言人的人脸追踪来提升会议效率,成为一个重要的加分项。清微智能视频会议人脸追踪解决方案正是针对此需求而研制开发。

超强算力芯片 实现实时顺滑追踪

该解决方案以清微自研智能视觉芯片TX510为核心,作为市面上唯一商用的可重构计算架构(CGRA)视觉芯片,支持混合精度的TX510AI算力达1.2T@8bit\9.6T@binary,以强大的计算能力,实现了对人脸的实时顺滑追踪。

基于可重构计算架构实现芯片功能的TX510,因为可根据算法和应用改变硬件资源,形成“专用电路”去进行有效计算,同时又减少了传统指令驱动架构芯片中大量的数据搬运工作,因此可以以极低的功耗去实现很大的计算量,支持更复杂的神经网络计算,去满足视频会议场景中的特殊需求。


清微智能视频会议人脸追踪解决方案基本结构示意图

在应用中,用户希望达到的场景是镜头会自动捕捉发言人,即便是在走动的情况下,依然可以自动追踪。但在实际应用中,囿于芯片算力的不足,往往会出现镜头转向不及时,追不上发言人的情况,从而破坏会议流畅性的问题。

而以TX510为核心的该解决方案,芯片强大的算力,大大提升了系统的处理速度,确保了摄像头自动跟踪人脸的及时性,发言人始终被置于画面焦点位置,不出现卡顿现象。整个过程中,用户可以将精力完全专注于会议上,而不必担心因为其它操作打断会议,破坏整体氛围。

我们知道,人类接受的外界信息有80%以上的是依靠视觉获得,而视频会议的核心诉求便是要将不在同一地的信息做最准确的传递,实时将镜头对准发言人,将发言人要传递的信息全面呈现,解决的正是视频会议核心的信息传递效率问题。

超低功耗 USB直接供电

采用USB供电所带来的的便利性自不必说,除不用设计单独的电源系统,降低成本外,系统在轻便性上也能增色不少,但这样一来自然对系统的功耗提出了更高的要求。

TX510有效能效比达5.6TOPS/W,在业界达到领先水平,典型工作功耗为400mW,休眠功耗不足0.05mW,而在此基础之上,系统通过“在线监视”对设备进行设置,有效区分背景区域和可能含有人脸的区域,使其仅在发言人转移时运行人脸捕捉,从而最大程度的降低了系统功耗。更为灵活的是,在对人脸的捕捉上,系统也给出了可选模式:用户可依据会议实际需求,设置为捕捉某一目标人脸 ,而不管他发言与否;也可以设置为捕捉说话人的人脸,始终保持发言人与画面一致。

优秀的能耗控制实现了USB直接供电和使用的最大便利性。

自动美颜 无负担面对镜头
该解决方案同时支持入会签到,在线标注展示参会者姓名等辅助功能,同时芯片强大的算力还兼顾到了美颜功能,毕竟谁不想在远方的同事那里也是美美哒。特别是在疫情发生后,居家办公变得更为常见,对于爱美的女士来说,美颜可是节省了大量的梳洗打扮时间。

美颜看似常见,但其实涉及到了一系列的算法。美颜功能一般分美颜和美型两大部分,美颜主要是磨皮美白等效果,美型则是对眼睛、鼻子、脸型等做一些微调,另外还有各式滤镜。以最常见的美白来说,采用基于灰度值转换的方法,实现只让脸变白,而周围环境不发生太大改变;而磨皮则主要使用双边滤波和皮肤检测等方法,每一个功能都需要很复杂的算法来实现,如果芯片算力不够,是很难满足这些需求的。TX510灵活的架构,能根据不同的应用和算法自动配置硬件资源,实现了计算能效的最大化,让这些复杂的算法得以轻松实现。

清微智能视频会议人脸追踪解决方案为视频会议带来了更强的实用性,USB供电系统、自动追踪发言人机制,让会议流程顺利衔接,让与会人员专注于讨论内容,为用户带来高效、便捷的全新的视频会议体验。


关闭