首页 / 新闻
清微智能视频会议人脸追踪解决方案 感受丝滑镜头转换体验
Time:2021年12月6日 | Author:清微智能
视频会议系统,英文为(Video Conference System),顾名思义,指在不同地理位置的两个或多个人或群体,借助各种通讯设备,通过图形、声音等进行互动交流的系统。
一套完整的视频会议系统一般由多点控制单元(MCU)、视频会议终端、摄像头、麦克风、触摸屏、显示大屏构成。
近些年,视频会议系统市场发展迅速,而随着技术的发展,视频会议系统在追求安全性、可靠性之外,更强的适用性要求被提上日程,通过对发言人的人脸追踪来提升会议效率,成为一个重要的加分项。清微智能视频会议人脸追踪解决方案正是针对此需求而研制开发。
该解决方案以清微自研智能视觉芯片TX510为核心,作为市面上唯一商用的可重构计算架构(CGRA)视觉芯片,支持混合精度的TX510AI算力达1.2T@8bit\9.6T@binary,以强大的计算能力,实现了对人脸的实时顺滑追踪。
基于可重构计算架构实现芯片功能的TX510,因为可根据算法和应用改变硬件资源,形成“专用电路”去进行有效计算,同时又减少了传统指令驱动架构芯片中大量的数据搬运工作,因此可以以极低的功耗去实现很大的计算量,支持更复杂的神经网络计算,去满足视频会议场景中的特殊需求。
清微智能视频会议人脸追踪解决方案基本结构示意图
在应用中,用户希望达到的场景是镜头会自动捕捉发言人,即便是在走动的情况下,依然可以自动追踪。但在实际应用中,囿于芯片算力的不足,往往会出现镜头转向不及时,追不上发言人的情况,从而破坏会议流畅性的问题。
而以TX510为核心的该解决方案,芯片强大的算力,大大提升了系统的处理速度,确保了摄像头自动跟踪人脸的及时性,发言人始终被置于画面焦点位置,不出现卡顿现象。整个过程中,用户可以将精力完全专注于会议上,而不必担心因为其它操作打断会议,破坏整体氛围。
我们知道,人类接受的外界信息有80%以上的是依靠视觉获得,而视频会议的核心诉求便是要将不在同一地的信息做最准确的传递,实时将镜头对准发言人,将发言人要传递的信息全面呈现,解决的正是视频会议核心的信息传递效率问题。
采用USB供电所带来的的便利性自不必说,除不用设计单独的电源系统,降低成本外,系统在轻便性上也能增色不少,但这样一来自然对系统的功耗提出了更高的要求。
TX510有效能效比达5.6TOPS/W,在业界达到领先水平,典型工作功耗为400mW,休眠功耗不足0.05mW,而在此基础之上,系统通过“在线监视”对设备进行设置,有效区分背景区域和可能含有人脸的区域,使其仅在发言人转移时运行人脸捕捉,从而最大程度的降低了系统功耗。更为灵活的是,在对人脸的捕捉上,系统也给出了可选模式:用户可依据会议实际需求,设置为捕捉某一目标人脸 ,而不管他发言与否;也可以设置为捕捉说话人的人脸,始终保持发言人与画面一致。
优秀的能耗控制实现了USB直接供电和使用的最大便利性。
清微智能视频会议人脸追踪解决方案为视频会议带来了更强的实用性,USB供电系统、自动追踪发言人机制,让会议流程顺利衔接,让与会人员专注于讨论内容,为用户带来高效、便捷的全新的视频会议体验。