产品展示

首页 > 产品展示

微软ARVR专利分享受谐振LC传感器+机器学习来辨认面部表情

来源:江南体育官网入口    发布时间:2023-07-25 09:42:32

  (映维网Nweon 2023年07月25日)除了眼动追寻,面部追寻相同开端成为XR头显的标配。但假如是运用摄像头进行检测,所述组件或许会遮挡眼睛的视图,并进一步影响可穿戴设备的视觉规划。

  所认为了避免运用摄像头来追寻面部表情,在名为“Interpretation of resonant sensor data using machine learning”的专利申请中,微软就介绍了一种运用谐振式电感-电容LC传感器和机器学习办法来辨认面部表情的办法,这家公司指出,谐振式LC传感器替代摄像头进行面部追寻,然后能够减小传感设备的尺度、分量、本钱和/或功耗。

  在一个施行例中,专利描绘的头显设备能够装备为辨认面部表情并将其作为用户输入。为了避免运用摄像头来追寻面部表情,能够运用谐振式LC传感器。其间,每个谐振式LC传感器装备为输出呼应于挨近谐振式LC传感器的外表积方位的信号。

  每个谐振LC传感器包含装备用于近场电磁检测的天线和谐振电路,而谐振电路包含天线、放大器和振动器。每个谐振式LC传感器经过在天线发生振动信号并检测谐振式LC传感器在选定频率下的近场呼应来操作。谐振LC电路的谐振频率作为感测外表的天线挨近度的函数而改变,然后答应外表相关于被感测天线的方位发生改变。

  一同,能够运用经过练习的机器学习函数从谐振LC传感器输出确认潜在的面部表情。然后,确认的面部表情能够用作核算体系的输入。例如,确认的表情能够用来操控核算设备的功用,或许将其映射至Avatar。

  图1示出了佩带头显的的用户100,所述头显包含用于面部追寻的谐振LC传感器。图2示出适于与传感组件102一同运用的示例结构202。结构202包含空间散布在结构202上的多个谐振LC传感器204A-G。每个传感器能够装备为感测脸部的不同部分,例如左眉、右眉和鼻子。

  每个谐振式LC传感器204装备为输出信号,而所述信号供给有关挨近相应谐振式LC传感器的面部方位的信息。运用谐振式LC传感器替代摄像头进行面部追寻,然后能够减小传感设备102的尺度、分量、本钱和/或功耗。

  图3示出了示例性传感组件300的框图。传感组件300包含多个谐振LC传感器302,每个传感器装备为输出呼应于与相应谐振LC传感器相邻的外表方位的信号。每个谐振LC传感器302包含天线包含天线的电容和/或电感与一个或多个其他无功元件组合。

  天线用于近场电磁勘探。在一个施行例中,天线范围内的窄带天线。运用这种窄带天线能够供给比具有较低质量因数的天线更高的灵敏度。所述振动器306和放大器308被装备为在天线发生振动信号,所述天线检测近场呼应,近场呼应随所述被感测外表相关于所述天线的方位的函数而改变。

  在一个施行例中,挑选振动信号与谐振式LC传感器的方针谐振频率有必定的偏移,由于这样的装备能够供给比振动信号更常常处于谐振式LC信号的谐振频率更低的功率操作。

  传感组件300一同包含逻辑子体系310和存储子体系312。逻辑子体系310能够装备为运用机器学习办法检测面部表情。例如,存储在存储子体系312中的指令能够装备为运用练习过的机器学习函数将传感器输出映射到面部姿态。

  传感组件300可进一步包含可选的惯性丈量单元314。来自IMU 314的IMU数据可用于检测感测组件的方位改变。

  图4示出另一示例感测组件400。传感组件400包含多个谐振LC传感器402,每个传感器包含天线中所示的天线,以完成关于每个谐振LC传感器402,谐振电路405,振动器406和放大器408。传感组件400能够进一步包含可选IMU 414,如上所述的关于传感组件300。

  图5示出示例谐振LC传感器500的电路图。谐振式LC传感器500是传感组件300的谐振式LC传感器的示例。谐振LC传感器500包含电感504、振动器506、放大器508和天线上输出被驱动信号,所述放大器508装备为依据经过反应回路516在节点512接纳到的被驱动信号在天线中发生振动信号。

  天线一同构成串联谐振器。天线的电容是挨近天线的外表的函数,因而依据挨近传感器的外表方位的改变而改变。在一个施行例中,能够包含独自的电容器以向谐振电路供给额定的电容,例如,将谐振电路调谐到选定的谐振频率。

  谐振LC传感器500输出的信号经过模数转换器(ADC) 518转换为数字值。在一个示例中,来自ADC 518的数据在本地处理,而在其他示例中,来自ADC的数据长途处理。在任何一种情况下,能够经过在将数据发送到另一设备之前经过加密模块522对来自ADC 518的数据进行加密,然后进一步处理维护面部追寻数据的隐私。

  面部追寻传感器数据或许在转换为数字值后进行加密,这有助于避免黑客进犯并维护用户数据隐私。由于来自每个传感器的信息是一维的(例如电压信号或电流信号),而且传感器的总数相对较少,因而来自谐振LC传感器体系的面部追寻传感器数据的加密功率相对较高。

  相比之下,运用摄像头的面部追寻体系的图画数据或许需求运用更多的资源来加密,由于每个通道有许多像素,在五颜六色图画数据的情况下则需求很多色彩通道。面部追寻数据的相对低维度能够答应加密以满足的采样率有用地履行,以实时追寻面部表情,而不会像运用图画传感器那样影响功耗。

  经过通讯通道522发送的面部追寻数据由解密模块524解密,然后输入到经过练习的机器学习函数526中分类为面部表情。在各种示例中,解密模块524和机器学习功用526能够坐落传感器500地点的设备的本地,或能够远离传感器500地点的设备。关于该函数辨认的每个面部表情,机器学习函数526确认输入数据代表该面部表情的概率。从概率中,输出一个确认的面部表情,并用作核算设备的输入。

  机器学习函数526能够运用针对多个不同面部表情中的每一个或多个用户中的每一个的符号谐振LC传感器数据进行练习。机器学习函数526能够运用与谐振LC传感相关的其他变量进行练习。

  取得用于练习机器学习函数526的符号练习数据是一项重要的使命。因而,组成练习数据的发生或许比运用物理练习数据更有用。

  图6A暗示性地示出了一种示例组成练习办法600。在602,组成练习办法600包含对组成人脸进行建模以标明来自不同人群的面部表情。接下来,将包含一个或多个谐振LC传感器的面部追寻设备的电磁特性建模的电磁模型应用于组成面部604。

  电磁模型对传感器的电路元件、应用于被建模传感器的信号以及建模传感器相关于面部的方位进行建模,并针对不同的面部表情输出一组组成谐振频率(RF)传感器信号606,其间所述组成RF信号仿照由所述组成面部再现的面部表情发生的RF信号。

  然后能够用组成数据练习机器学习函数,如608所示。练习后的机器学习函数能够运用任何适宜的机器学习算法,包含但不限于希望最大化、k近邻、极限学习机、神经网络如循环神经网络等等。

  额定的传感器数据609,如手部追寻、头部追寻、注视点追寻、图画、音频、IMU和/或环境数据能够进一步用作输入,以协助练习机器学习功用。运用额定的传感器数据以及谐振LC传感器数据或许有助于供给情形和/或过滤噪点,然后进步确认面部表情的准确性。

  例如,IMU数据或许标明,面部追寻传感器信号的改变是由于用户行走或移动头部时的头显运动,而不是由于成心的面部表情。作为另一个比如,眼动追寻能够协助继续地供给用户头部中心的方位,然后供给从头显到用户头部的肯定间隔。在这样的比如中,机器学习函数能够用这些额定的传感器数据进行练习。

  上述数据能够与谐振LC传感器数据交融,然后运用任何适宜的数据交融办法输入到机器学习函数中。例如,经过摄像头获取的运动追寻数据能够处理以辨认运动,而且标明已辨认运动的数据能够与谐振LC传感器数据衔接,然后输入到机器学习功用中。

  来自谐振LC传感器体系上的惯性丈量单元的惯性运动数据相同能够与RF传感器数据衔接以输入到机器学习功用中。

  经过练习后,练习好的机器学习函数能够用于在布置阶段对面部追寻传感器数据进行分类。如图6B中的办法610所示。办法610包含在612处从一个或多个谐振LC传感器取得信号。

  如上所述,能够以加密方式接纳信号,然后对其进行解密。然后将信号输入到经过练习的机器学习函数614中。

  根据所述输入数据,所述练习的机器学习函数输出概率616,所述输入数据标明所述函数练习以分类的多个面部表情中的每一个。

  为了辨认面部手势,能够将来自谐振LC传感器的时刻数据输入到机器学习功用中。在其他示例中,能够输入单个帧,而且机器学习功用随时刻输出的面部姿态改变可用于辨认面部姿态。

  能够挑选具有最高概率的面部表情作为确认的面部表情以用作核算设备输入618。在一个示例中,能够为所确认的面部表情确认置信度,假如置信度不满足置信度阈值,则能够丢掉成果。

  在其他施行例中,能够将时刻阈值应用于面部姿态以扫除微表情,由于微表情是自发和时间短出现的表情,因而不太或许标明预期的核算设备输入。

  在一个施行例中,面部表情或许与设备功用有预先确认的映射联系。能够将核算设备装备为接纳面部表情到设备功用/操控输入的用户界说映射的输入。答应用户界说的映射有助于进一步个性化用户体会。

  别的,用户界说的映射可用于使核算设备的操控习惯用户的特定才能。经过面部表情进行的操控输入一同可用于操控与传感设备通讯的其他设备,例如家庭或作业场所环境中的设备。

  在一个施行例中,能够显现Avatar以向用户供给一个或多个辅导和视觉反应。图7A显现了一个示例运用场景700,其间用户704所佩带的头戴式显现设备702正在显现多个Avatar,

  Avatar的表情706、708、710、712能够作为显现的可选核算设备功用菜单的一部分一同显现。在所述示例中,能够经过履行相关的显现的面部表情来挑选核算设备功用。在另一示例中,如图7B所示,表情706、708、710、712显现为面部表情序列,由用户按次序履行以触发特定的可选输入。检测序列的功能能够标明用户704计划触发相关的可选输入的高或许性。

  面部表情能够用于用户身份验证。在这样的示例中,Avatar能够显现一个或多个面部表情,而且用户能够仿照所述表情。

  能够对谐振LC传感器数据进行分类,以确认是否履行了表情,并将其与从前存储的表情用户数据进行比较。假如传感器数据与图示表情不匹配和/或与从前为用户存储的传感器数据不匹配,则设备或许坚持确定状况。这或许有助于避免潜在的未经授权的用户拜访设备。

  检测到的面部表情一同能够用于与别人沟通,以表达情感。例如,Avatar能够出现为履行榜首用户的面部表情,以便在长途设备出现给第二用户。在这样的示例中,关于榜首用户的面部表情的分类的信息能够作为情感表情发送到长途设备,以经过标明榜首用户的Avatar显现给第二用户。

  图8显现了经过头显谐振LC传感器搜集的示例性试验性面部追寻传感器数据。

  戴着头显的用户在图表显现为800。每个谐振LC传感器装备为感知用户面部的不同部分。图例描绘了用于左眉(802)、左外颊(804)、左内颊(806)、右眉(808)和鼻子(814)的示例信号。信号波形中的峰值和上升标明在面部区域中检测到的用户面部运动。

  举个比如,信号峰值为816的左眉和818的右眉标明用户在这个试验中抬起了两个眉毛。鼻子的信号峰值为820,右内颊的信号峰值为822,右外颊的信号峰值为824,这标明用户在脸的右侧在笑。