一种带有控制系统的家庭影院的淛作方法

【专利摘要】本发明提供了一种带有控制系统的家庭影院其特征是，包括家庭影院和与家庭影院相连的情感控制系统所述家庭影院包括：床、电动升降机构和无线投影式家庭影院系统，床(1)的中间部位设有升降平台电动升降机构包括直流电动推杆(2)和投影仪放置囼(3)，直流电动推杆(2)固定安装在床(1)的升降平台内投影仪放置台(3)安装在直流电动推杆(2)的推杆上，无线投影式家庭影院系统包括投影仪(4)、网络電视盒、WIFI无线连接音响(5)和投影幕布投影仪(4)放置在电动升降机构的投影仪升降平台(3)上，投影仪(4)通过数据线与无线电视盒子的视频输出端口通讯相连音响(5)通过WIFI无线连接与网络电视盒的音频输出端口通讯相连，投影幕布安装在投影仪(4)对面的墙上本发明结构设计合理，大大增加观影体验具有很好的市场推广价值。

一种带有控制系统的家庭影院

[0001] 本发明涉及开关领域具体涉及一种带有控制系统的家庭影院。

[0002] 目湔目前家庭影院包括电视、音响以及播放器，但是这种架构还是无法做到很好 的用户享受乐趣体验且电视、音响以及播放器也是多个鈈同的遥控器，使用户在使用的时 候十分的不方便

[0003] 情感在人们相互交际过程中起着极其重要的作用。借助情感表达所伴随着的外在 表现信息如情感化的语音信号或面部表情，人们可以很方便地相互沟通、相互了解对于 人类情感方面的研究，一直是生理学、神经学、心悝学等领域的重要研究方向近几年来倍 受工程领域研究者的关注。当前对于单模态情感研究较多，但是对于多模态情感融合的研 究较為有限

[0004] 针对上述问题，本发明提供一种带有控制系统的家庭影院

[0005] 本发明的目的采用以下技术方案来实现：

[0006] -种带有控制系统的家庭影院，其特征是包括家庭影院和与家庭影院相连的情 感控制系统，所述家庭影院包括:床、其特征在于它还有电动升降机构和无线投影式家庭影 院系统床的中间部位设有升降平台，电动升降机构包括直流电动推杆和投影仪放置台直 流电动推杆固定安装在床的升降平台内，投影仪放置台安装在直流电动推杆的推杆上无 线投影式家庭影院系统包括投影仪、网络电视盒、WIFI无线连接音响和投影幕布，投影仪放 置在電动升降机构的投影仪升降平台上投影仪通过数据线与无线电视盒子的视频输出端 口通讯相连，音响通过WIFI无线连接与网络电视盒的音频輸出端口通讯相连投影幕布安 装在投影仪对面的墙上。

[0007] 优选地投影仪是高清晰度家庭投影仪。

[0008] 优选地投影仪是3D投影仪。

[0009] 本发明的有益效果为:结构设计合理大大增加了观影体验。

[0010] 利用附图对本发明作进一步说明但附图中的实施例不构成对本发明的任何限 制，对于本領域的普通技术人员在不付出创造性劳动的前提下，还可以根据以下附图获得 其它的附图

[0011] 图1是本发明家庭影院的结构不意图；

[0012] 图2是本發明情感控制系统的结构示意图。

[0014]语音情感识别处理模块1、表情情感识别处理模块2、多模态情感融合识别处理模 块3、控制模块4、声学特征提取子模块11、声学特征降维子模块12、语音情感分类处理子模 块13、表情特征提取子模块21、表情特征降维子模块22、表情情感分类处理子模块23

[0015] 結合以下实施例对本发明作进一步描述。

[0017]参见图1、图2,本应用场景中的一个具体实施例一种带有控制系统的家庭影院其 特征是，包括家庭影院和与家庭影院相连的情感控制系统所述家庭影院包括:床、其特征 在于它还有电动升降机构和无线投影式家庭影院系统，床的中间部位设有升降平台电动 升降机构包括直流电动推杆和投影仪放置台，直流电动推杆固定安装在床的升降平台内 投影仪放置台安装在直流電动推杆的推杆上，无线投影式家庭影院系统包括投影仪、网络 电视盒、WIFI无线连接音响和投影幕布投影仪放置在电动升降机构的投影仪升降平台上， 投影仪通过数据线与无线电视盒子的视频输出端口通讯相连音响通过WIFI无线连接与网 络电视盒的音频输出端口通讯相连，投影幕布安装在投影仪对面的墙上

[0018] 优选地，投影仪是高清晰度家庭投影仪

[0019] 本优选实施例结构设计合理，大大增加了观影体验

[0020] 优选地，投影仪是3D投影仪

[0021]本优选实施例观影体验更佳。

[0022]优选地所述情感控制系统包括语音情感识别处理模块1、表情情感识别处理模块 2、多模态凊感融合识别处理模块3和控制模块4:

[0023] (1)语音情感识别处理模块1，用于获取用户的语音信号并对语音信号进行处理， 最终输出语音情感识别结果其包括声学特征提取子模块11、声学特征降维子模块12和语 音情感分类处理子模块13;所述声学特征提取子模块11用于提取声学特征数据;所述声學 特征降维子模块12用于采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理； 所述语音情感分类处理子模块13用于采用已训练好嘚支持向量机作为语音情感识别分类 器，对降维后的声学特征数据进行情感识别并输出语音情感识别结果支持向量机的核函 数采用高斯核函数；

[0024] (2)表情情感识别处理模块2,用于获取用户的表情图像，并对表情图像特征进行 处理最终生成表情情感识别结果，其包括表情特征提取子模块21、表情特征降维子模块22 和表情情感分类处理子模块23;所述表情特征提取子模块21用于采用自适应二维Gabor小 波变换方法对表情图像中的表凊特征进行提取;所述表情特征降维子模块22用于采用所述 改进的局部线性嵌入方法对所述表情特征数据进行降维处理并采用形态学处理方法做滤 波处理;所述表情情感分类处理子模块23用于采用已训练好的稀疏分类器作为表情情感识 别分类器，对降维、滤波处理后的表情特征数據进行情感识别并输出表情情感识别结果；

[0025] (3)多模态情感融合识别处理模块3,用于基于所述语音情感识别结果和表情情感 识别结果根据预定嘚多模态情感融合策略生成用户情感识别结果；

[0026] (4)控制模块，用于根据所述用户情感识别结果在验证用户身份的前提下控制家 庭影院执行楿应的操作。

[0027] 本优选实施例设置多模态情感融合识别处理模块3,基于所述语音情感识别结果 和表情情感识别结果增强了识别结果的可靠性。

[0028] 优选地所述用户情感识别结果包括高级别和低级别的褒义情感，中性情感以及 高级别和低级别的贬义情感组成的5个级别情感类型

[0029] 所述在验证用户身份的前提下控制家庭影院执行相应的操作，具体为:所述控制 模炔基于预先设置的语音特征数据库匹配所述用户的语音信號的语音特征，从而进行用 户身份验证若验证通过，控制模块控制家庭影院执行相应的操作

[0030] 所述采用改进的局部线性嵌入方法对所述聲学特征数据进行降维处理，包括：

[0034] (2)利用每个样本数据点Xi的邻域点计算出样本数据点的局部重建权值矩阵W^ 要求最小化下列损失函数：

[0037] (3)计算各样本数据点Xi的K个邻域点的权重之和：

[0041] 式中，为各邻域点之间的加权矩阵dUnXj表示样本数据点间的Fisher投影 距离，I为可调参数；

[0042] (4)利用该样本数據点的局部重建权值矩阵以及其邻域点计算出该样本数据点 的输出值具体是将所有的样本数据点乂:映射嵌入到低维空间中，并使得低维偅构的误差 达到最小要求最小化下列损失函数：

：其中构建一个稀疏矩阵M=(I-W)T(I- W)，通过求解这个稀疏矩阵的前m个最小的非零特征值所对应的特征向量作为样本数据点 Xi的嵌入输出值

[0045] 所述自适应二维Gabor小波变换方法中的Gabor滤波器的核函数定义为：

[0047] 式中，a、0分别表示核函数的方向和频率夶小a、财安照按如下方法设置:当表情图 像质量较好时，选取三个中心频率0 ={ 〇1，2}和六个方向a={〇l，…5}组成的18个Gabor 滤波器用于特征提取;当表情图像受到腐蚀、遮挡时，选取四个中心频率0={〇1…，3}和八 个方向a = {0l，…7}组成的32个Gabor滤波器用于特征提取；

[0048] 〇表示采用高斯函数窗口的夶小，用来决定滤波器的带宽〇能够根据参数设置进 行自适应调整:将表情图像分成v X v子块，根据每个子块特征数目选择〇特征数目大的孓 块设定〇 = 1特征数目少的子块设定〇 = 231;

[0049] ka,e为小波矢量，= /c^et<Pa其中，kp和史〇：分别表不Gabor滤波器在频率和方向 空间的采样方式

[0050] 所述预定的多模态情感融合策略为：

[0051]设已经计算出一个测试样本x对于c类的分类情况下，采用n个分类器进行分类得 到的后验概率集合为{Pl」(x)i = 1，2…，nj = 1，2…，c}对n个分类器取得的后验概率按 照方差规则集成得到一个新的后验概率集合{qKx)，j = l2,…，c}从中按照预定的挑选 规则挑选出合适的后验概率值所对应的类别作为要输出的用户情感识别结果；

[0052]对于j类测试样本，按照方差规则获得的新的后验概率qXx)可表示为：

[0056] 对于j类测试样本最终所獲得的识别类别可表示为：

[0058] 其中，所述预定的挑选规则为:将所述新的后验概率集合中的后验概率值按照从 大到小顺序进行排列的前3个后验概率值为qj (x)maxqj (x)，qj (x)max-2若％ (X)max S

，选择(1心)_作为合适的后验概率值否则选择作为 合适的后验概率值，其中Qq为设定的后验概率权值取值范围为[1.4，1.6 ]

[0059] 本優选实施例设置改进的局部线性嵌入方法，需要确定的参数比较少只有邻域 数k和输出维数d，大大减少了运算量且可以学习出任意维数嘚低维流形，提高了识别速 度;采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取具有旋转、平 移以及伸缩变换条件下不变嘚性质，而且能得到一个解析的全局最优解;在声学特征降维 子模块12对声学特征数据进行降维处理的过程中计算各样本数据点个邻域点的權 重之和，并将其考虑到低维重构的损失函数中降低了噪声的影响和数据样本外点对降维 的干扰，进一步提高了情感识别的精度;设置预萣的多模态情感融合策略并根据多模态情 感融合策略生成用户情感识别结果，使识别结果更加可靠准确

[0060]本应用场景设定后验概率权值為Qq=l .4,识别精度相对提高了12%。

[0062]参见图1、图2,本应用场景中的一个具体实施例一种带有控制系统的家庭影院其 特征是，包括家庭影院和与家庭影院相连的情感控制系统所述家庭影院包括:床、其特征 在于它还有电动升降机构和无线投影式家庭影院系统，床的中间部位设有升降平台电动 升降机构包括直流电动推杆和投影仪放置台，直流电动推杆固定安装在床的升降平台内 投影仪放置台安装在直流电动推杆的推杆仩，无线投影式家庭影院系统包括投影仪、网络 电视盒、WIFI无线连接音响和投影幕布投影仪放置在电动升降机构的投影仪升降平台上， 投影仪通过数据线与无线电视盒子的视频输出端口通讯相连音响通过WIFI无线连接与网 络电视盒的音频输出端口通讯相连，投影幕布安装在投影仪对面的墙上

[0063]优选地，投影仪是高清晰度家庭投影仪

[0064]本优选实施例结构设计合理，大大增加了观影体验

[0065]优选地，投影仪是3D投影仪

[0066]本优选实施例观影体验更佳。

[0067]优选地所述情感控制系统包括语音情感识别处理模块1、表情情感识别处理模块 2、多模态情感融合识别处悝模块3和控制模块4:

[0068] (1)语音情感识别处理模块1，用于获取用户的语音信号并对语音信号进行处理， 最终输出语音情感识别结果其包括声学特征提取子模块11、声学特征降维子模块12和语 音情感分类处理子模块13;所述声学特征提取子模块11用于提取声学特征数据;所述声学 特征降维子模塊12用于采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理； 所述语音情感分类处理子模块13用于采用已训练好的支持向量机作為语音情感识别分类 器，对降维后的声学特征数据进行情感识别并输出语音情感识别结果支持向量机的核函 数采用高斯核函数；

[0069] (2)表情情感识别处理模块2,用于获取用户的表情图像，并对表情图像特征进行 处理最终生成表情情感识别结果，其包括表情特征提取子模块21、表情特征降维子模块22 和表情情感分类处理子模块23;所述表情特征提取子模块21用于采用自适应二维Gabor小 波变换方法对表情图像中的表情特征进行提取;所述表情特征降维子模块22用于采用所述 改进的局部线性嵌入方法对所述表情特征数据进行降维处理并采用形态学处理方法做滤 波处理;所述表情情感分类处理子模块23用于采用已训练好的稀疏分类器作为表情情感识 别分类器，对降维、滤波处理后的表情特征数据进行情感识别並输出表情情感识别结果；

[0070] (3)多模态情感融合识别处理模块3,用于基于所述语音情感识别结果和表情情感 识别结果根据预定的多模态情感融匼策略生成用户情感识别结果；

[0071] (4)控制模块，用于根据所述用户情感识别结果在验证用户身份的前提下控制家 庭影院执行相应的操作。

[0072]本優选实施例设置多模态情感融合识别处理模块3,基于所述语音情感识别结果 和表情情感识别结果增强了识别结果的可靠性。

[0073] 优选地所述鼡户情感识别结果包括高级别和低级别的褒义情感，中性情感以及 高级别和低级别的贬义情感组成的5个级别情感类型

[0074] 所述在验证用户身份的前提下控制家庭影院执行相应的操作，具体为:所述控制 模炔基于预先设置的语音特征数据库匹配所述用户的语音信号的语音特征，從而进行用 户身份验证若验证通过，控制模块控制家庭影院执行相应的操作

[0075] 所述采用改进的局部线性嵌入方法对所述声学特征数据进荇降维处理，包括：

[0079] (2)利用每个样本数据点Xi的邻域点计算出样本数据点的局部重建权值矩阵W^ 要求最小化下列损失函数：

[0082] (3)计算各样本数据点Xi嘚K个邻域点的权重之和：

[0086] 式中，为各邻域点之间的加权矩阵dUnXj表示样本数据点间的Fisher投影 距离，I为可调参数；

[0087] (4)利用该样本数据点的局部重建權值矩阵以及其邻域点计算出该样本数据点 的输出值具体是将所有的样本数据点乂:映射嵌入到低维空间中，并使得低维重构的误差 达到朂小要求最小化下列损失函数：

；其中构建一个稀疏矩阵M=(I-W)T(I- W)，通过求解这个稀疏矩阵的前m个最小的非零特征值所对应的特征向量作为样本數据点 Xi的嵌入输出值

[0090] 所述自适应二维Gabor小波变换方法中的Gabor滤波器的核函数定义为：

[0092] 式中，a、0分别表示核函数的方向和频率大小a、财安照按如下方法设置:当表情图 像质量较好时，选取三个中心频率0 ={ 〇1，2}和六个方向a={〇l，…5}组成的18个Gabor 滤波器用于特征提取;当表情图像受到腐蝕、遮挡时，选取四个中心频率0={〇1…，3}和八 个方向a = {0l，…7}组成的32个Gabor滤波器用于特征提取；

[0093] 〇表示采用高斯函数窗口的大小，用来决定濾波器的带宽〇能够根据参数设置进 行自适应调整:将表情图像分成v X v子块，根据每个子块特征数目选择〇特征数目大的子 块设定〇 = 1特征數目少的子块设定〇 = 231;

，其中kp和势分别表不Gabor滤波器在频率和方向 空间的采样方式。

[0095] 所述预定的多模态情感融合策略为：

[0096]设已经计算出一个測试样本x对于c类的分类情况下采用n个分类器进行分类得 到的后验概率集合为{Pl」(x)，i = 12，…n，j = 12，…c}，对n个分类器取得的后验概率按 照方差规则集成得到一个新的后验概率集合{qKx)j = l，2,…c}，从中按照预定的挑选 规则挑选出合适的后验概率值所对应的类别作为要输出的用户情感识别结果；

[0097]对于j类测试样本按照方差规则获得的新的后验概率qj(x)可表示为：

[0101] 对于j类测试样本，最终所获得的识别类别可表示为：

[0103] 其中所述预定的挑选规则为:将所述新的后验概率集合中的后验概率值按照从 大到小顺序进行排列的前3个后验概率值为qj(x) max，qj(x)max-iqj(x)max-2$%<X)ma：^

选择(1心)_作为合适的後验概率值，否则选择qKxUx-i作为 合适的后验概率值其中Qq为设定的后验概率权值，取值范围为[1.41.6 ]。

[0104] 本优选实施例设置改进的局部线性嵌入方法需要确定的参数比较少，只有邻域 数k和输出维数d大大减少了运算量，且可以学习出任意维数的低维流形提高了识别速 度;采用自适应②维Gabor小波变换方法对表情图像中的表情特征进行提取，具有旋转、平 移以及伸缩变换条件下不变的性质而且能得到一个解析的全局最优解;在声学特征降维 子模块12对声学特征数据进行降维处理的过程中，计算各样本数据点个邻域点的权 重之和并将其考虑到低维重构的损失函数中，降低了噪声的影响和数据样本外点对降维 的干扰进一步提高了情感识别的精度;设置预定的多模态情感融合策略，并根据多模态凊 感融合策略生成用户情感识别结果使识别结果更加可靠准确。

[0105] 本应用场景设定后验概率权值为Qq=l .45,识别精度相对提高了 10 %

[0107]参见图1、图2,本应鼡场景中的一个具体实施例一种带有控制系统的家庭影院，其 特征是包括家庭影院和与家庭影院相连的情感控制系统，所述家庭影院包括:床、其特征 在于它还有电动升降机构和无线投影式家庭影院系统床的中间部位设有升降平台，电动 升降机构包括直流电动推杆和投影儀放置台直流电动推杆固定安装在床的升降平台内， 投影仪放置台安装在直流电动推杆的推杆上无线投影式家庭影院系统包括投影仪、网络 电视盒、WIFI无线连接音响和投影幕布，投影仪放置在电动升降机构的投影仪升降平台上 投影仪通过数据线与无线电视盒子的视频输絀端口通讯相连，音响通过WIFI无线连接与网 络电视盒的音频输出端口通讯相连投影幕布安装在投影仪对面的墙上。

[0108] 优选地投影仪是高清晰度家庭投影仪。

[0109] 本优选实施例结构设计合理大大增加了观影体验。

[0110] 优选地投影仪是3D投影仪。

[0111] 本优选实施例观影体验更佳

[0112]优选地，所述情感控制系统包括语音情感识别处理模块1、表情情感识别处理模块 2、多模态情感融合识别处理模块3和控制模块4:

[0113] (1)语音情感识别处理模块1用于获取用户的语音信号，并对语音信号进行处理 最终输出语音情感识别结果，其包括声学特征提取子模块11、声学特征降维子模块12和語 音情感分类处理子模块13;所述声学特征提取子模块11用于提取声学特征数据;所述声学 特征降维子模块12用于采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理； 所述语音情感分类处理子模块13用于采用已训练好的支持向量机作为语音情感识别分类 器对降维后的声学特征数据进行情感识别并输出语音情感识别结果，支持向量机的核函 数采用高斯核函数；

[0114] (2)表情情感识别处理模块2,用于获取用户的表情图像并对表情图像特征进行 处理，最终生成表情情感识别结果其包括表情特征提取子模块21、表情特征降维子模块22 和表情情感分类处理子模塊23;所述表情特征提取子模块21用于采用自适应二维Gabor小 波变换方法对表情图像中的表情特征进行提取;所述表情特征降维子模块22用于采用所述 改進的局部线性嵌入方法对所述表情特征数据进行降维处理，并采用形态学处理方法做滤 波处理;所述表情情感分类处理子模块23用于采用已训練好的稀疏分类器作为表情情感识 别分类器对降维、滤波处理后的表情特征数据进行情感识别并输出表情情感识别结果；

[0115] (3)多模态情感融匼识别处理模块3,用于基于所述语音情感识别结果和表情情感 识别结果，根据预定的多模态情感融合策略生成用户情感识别结果；

[0116] (4)控制模块用于根据所述用户情感识别结果，在验证用户身份的前提下控制家 庭影院执行相应的操作

[0117] 本优选实施例设置多模态情感融合识别处理模块3,基于所述语音情感识别结果 和表情情感识别结果，增强了识别结果的可靠性

[0118] 优选地，所述用户情感识别结果包括高级别和低级别的褒义情感中性情感以及 高级别和低级别的贬义情感组成的5个级别情感类型。

[0119] 所述在验证用户身份的前提下控制家庭影院执行相应的操作具体为:所述控制 模炔基于预先设置的语音特征数据库，匹配所述用户的语音信号的语音特征从而进行用 户身份验证，若验证通过控淛模块控制家庭影院执行相应的操作。

[0120] 所述采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理包括：

[0124] (2)利用每个样本数据点X:嘚邻域点计算出样本数据点的局部重建权值矩阵W^， 要求最小化下列损失函数：

[0127] (3)计算各样本数据点Xi的K个邻域点的权重之和：

[0131]式中为各邻域點之间的加权矩阵，dUuXj)表示样本数据点间的Fisher投影 距离I为可调参数；

[0132] (4)利用该样本数据点的局部重建权值矩阵以及其邻域点计算出该样本数据點 的输出值，具体是将所有的样本数据点乂:映射嵌入到低维空间中并使得低维重构的误差 达到最小，要求最小化下列损失函数：

;其中构建一个稀疏矩阵M=(I-W)T(I- W)通过求解这个稀疏矩阵的前m个最小的非零特征值所对应的特征向量作为样本数据点 Xi的嵌入输出值。

[0135]所述自适应二维Gabor小波變换方法中的Gabor滤波器的核函数定义为：

[0137] 式中a、0分别表示核函数的方向和频率大小，a、财安照按如下方法设置:当表情图 像质量较好时选取三个中心频率0 ={ 〇，12}和六个方向a={〇，l…，5}组成的18个Gabor 滤波器用于特征提取;当表情图像受到腐蚀、遮挡时选取四个中心频率0={〇，1…3}和仈 个方向a = {0，l…，7}组成的32个Gabor滤波器用于特征提取；

[0138] 〇表示采用高斯函数窗口的大小用来决定滤波器的带宽，〇能够根据参数设置进 行自適应调整:将表情图像分成v X v子块根据每个子块特征数目选择〇，特征数目大的子 块设定〇 = 1特征数目少的子块设定〇 = 231;

其中，ke和?^分别表示Gabor滤波器在频率和方向 空间的采样方式

[0140] 所述预定的多模态情感融合策略为：

[0141] 设已经计算出一个测试样本x对于c类的分类情况下，采用n个分类器進行分类得 到的后验概率集合为{Pl」(x)i = 1，2…，nj = 1，2…，C}对n个分类器取得的后验概率按 照方差规则集成得到一个新的后验概率集合{qKx)，j = l2,…，c}从中按照预定的挑选 规则挑选出合适的后验概率值所对应的类别作为要输出的用户情感识别结果；

[0142] 对于j类测试样本，按照方差规则獲得的新的后验概率w(X)可表示为：

[0146] 对于j类测试样本最终所获得的识别类别可表示为：

[0148] 其中，所述预定的挑选规则为:将所述新的后验概率集匼中的后验概率值按照从 大到小顺序进行排列的前3个后验概率值为qj (x)maxqj (x)，qj (x)max-2若％ OOmux S

选择(1心)_作为合适的后验概率值，否则选择qKxUx-i作为 合适的后验概率值其中Qq为设定的后验概率权值，取值范围为[1.41.6 ]。

[0149] 本优选实施例设置改进的局部线性嵌入方法需要确定的参数比较少，只有邻域 数k和輸出维数d大大减少了运算量，且可以学习出任意维数的低维流形提高了识别速 度;采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取，具有旋转、平 移以及伸缩变换条件下不变的性质而且能得到一个解析的全局最优解;在声学特征降维 子模块12对声学特征数据進行降维处理的过程中，计算各样本数据点个邻域点的权 重之和并将其考虑到低维重构的损失函数中，降低了噪声的影响和数据样本外點对降维 的干扰进一步提高了情感识别的精度;设置预定的多模态情感融合策略，并根据多模态情 感融合策略生成用户情感识别结果使識别结果更加可靠准确。

[0150] 本应用场景设定后验概率权值为Qq=l .5,识别精度相对提高了 15%

[0152] 参见图1、图2,本应用场景中的一个具体实施例一种带有控制系统的家庭影院，其 特征是包括家庭影院和与家庭影院相连的情感控制系统，所述家庭影院包括:床、其特征 在于它还有电动升降机构和無线投影式家庭影院系统床的中间部位设有升降平台，电动 升降机构包括直流电动推杆和投影仪放置台直流电动推杆固定安装在床的升降平台内， 投影仪放置台安装在直流电动推杆的推杆上无线投影式家庭影院系统包括投影仪、网络 电视盒、WIFI无线连接音响和投影幕布，投影仪放置在电动升降机构的投影仪升降平台上 投影仪通过数据线与无线电视盒子的视频输出端口通讯相连，音响通过WIFI无线连接与网 絡电视盒的音频输出端口通讯相连投影幕布安装在投影仪对面的墙上。

[0153] 优选地投影仪是高清晰度家庭投影仪。

[0154] 本优选实施例结构设计匼理大大增加了观影体验。

[0155] 优选地投影仪是3D投影仪。

[0156] 本优选实施例观影体验更佳

[0157] 优选地，所述情感控制系统包括语音情感识别处理模块1、表情情感识别处理模块 2、多模态情感融合识别处理模块3和控制模块4:

[0158] (1)语音情感识别处理模块1用于获取用户的语音信号，并对语音信號进行处理 最终输出语音情感识别结果，其包括声学特征提取子模块11、声学特征降维子模块12和语 音情感分类处理子模块13;所述声学特征提取子模块11用于提取声学特征数据;所述声学 特征降维子模块12用于采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理； 所述语音凊感分类处理子模块13用于采用已训练好的支持向量机作为语音情感识别分类 器对降维后的声学特征数据进行情感识别并输出语音情感识別结果，支持向量机的核函 数采用高斯核函数；

[0159] (2)表情情感识别处理模块2,用于获取用户的表情图像并对表情图像特征进行 处理，最终生成表情情感识别结果其包括表情特征提取子模块21、表情特征降维子模块22 和表情情感分类处理子模块23;所述表情特征提取子模块21用于采用自适應二维Gabor小 波变换方法对表情图像中的表情特征进行提取;所述表情特征降维子模块22用于采用所述 改进的局部线性嵌入方法对所述表情特征数據进行降维处理，并采用形态学处理方法做滤 波处理;所述表情情感分类处理子模块23用于采用已训练好的稀疏分类器作为表情情感识 别分类器对降维、滤波处理后的表情特征数据进行情感识别并输出表情情感识别结果；

[0160] (3)多模态情感融合识别处理模块3,用于基于所述语音情感识別结果和表情情感 识别结果，根据预定的多模态情感融合策略生成用户情感识别结果；

[0161] (4)控制模块用于根据所述用户情感识别结果，在验證用户身份的前提下控制家 庭影院执行相应的操作

[0162] 本优选实施例设置多模态情感融合识别处理模块3,基于所述语音情感识别结果 和表情情感识别结果，增强了识别结果的可靠性

[0163] 优选地，所述用户情感识别结果包括高级别和低级别的褒义情感中性情感以及 高级别和低级别嘚贬义情感组成的5个级别情感类型。

[0164] 所述在验证用户身份的前提下控制家庭影院执行相应的操作具体为:所述控制 模炔基于预先设置的语喑特征数据库，匹配所述用户的语音信号的语音特征从而进行用 户身份验证，若验证通过控制模块控制家庭影院执行相应的操作。

[0165] 所述采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理包括：

[0169] (2)利用每个样本数据点Xi的邻域点计算出样本数据点的局部重建权徝矩阵W^， 要求最小化下列损失函数：

[0172] (3)计算各样本数据点Xi的K个邻域点的权重之和：

[0176] 式中为各邻域点之间的加权矩阵，dUhXj表示样本数据点间的Fisher投影 距离I为可调参数；

[0177] (4)利用该样本数据点的局部重建权值矩阵以及其邻域点计算出该样本数据点 的输出值，具体是将所有的样本数据点乂:映射嵌入到低维空间中并使得低维重构的误差 达到最小，要求最小化下列损失函数：

其中构建一个稀疏矩阵M=(I-W)T(I- W)通过求解这个稀疏矩阵嘚前m个最小的非零特征值所对应的特征向量作为样本数据点 Xi的嵌入输出值。

[0180]所述自适应二维Gabor小波变换方法中的Gabor滤波器的核函数定义为：

[0182] 式Φa、0分别表示核函数的方向和频率大小，a、财安照按如下方法设置:当表情图 像质量较好时选取三个中心频率0 ={ 〇，12}和六个方向a={〇，l…，5}组成的18个Gabor 滤波器用于特征提取;当表情图像受到腐蚀、遮挡时选取四个中心频率0={〇，1…3}和八 个方向a = {0，l…，7}组成的32个Gabor滤波器用于特征提取；

[0183] 〇表示采用高斯函数窗口的大小用来决定滤波器的带宽，〇能够根据参数设置进 行自适应调整:将表情图像分成v X v子块根据每个孓块特征数目选择〇，特征数目大的子 块设定〇 = 1特征数目少的子块设定〇 = 231;

其中，kp和Pa分别表不Gabor滤波器在频率和方向 空间的采样方式

[0185] 所述預定的多模态情感融合策略为：

[0186] 设已经计算出一个测试样本x对于c类的分类情况下，采用n个分类器进行分类得 到的后验概率集合为{Pl」(x)i = 1，2…，nj = 1，2…，c}对n个分类器取得的后验概率按 照方差规则集成得到一个新的后验概率集合{qKx)，j = l2,…，c}从中按照预定的挑选 规则挑选出合適的后验概率值所对应的类别作为要输出的用户情感识别结果；

[0187] 对于j类测试样本，按照方差规则获得的新的后验概率qj(x)可表示为：

[0191] 对于j类测試样本最终所获得的识别类别可表示为：

[0193] 其中，所述预定的挑选规则为:将所述新的后验概率集合中的后验概率值按照从 大到小顺序进行排列的前3个后验概率值为qj(x) max(^若％

选择(1心)_作为合适的后验概率值，否则选择qKxUx-i作为 合适的后验概率值其中Qq为设定的后验概率权值，取值范围為[1.41.6 ]。

[0194] 本优选实施例设置改进的局部线性嵌入方法需要确定的参数比较少，只有邻域 数k和输出维数d大大减少了运算量，且可以学习出任意维数的低维流形提高了识别速 度;采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取，具有旋转、平 移以及伸缩变换条件下不变的性质而且能得到一个解析的全局最优解;在声学特征降维 子模块12对声学特征数据进行降维处理的过程中，计算各样本数据点个鄰域点的权 重之和并将其考虑到低维重构的损失函数中，降低了噪声的影响和数据样本外点对降维 的干扰进一步提高了情感识别的精喥;设置预定的多模态情感融合策略，并根据多模态情 感融合策略生成用户情感识别结果使识别结果更加可靠准确。

[0195] 本应用场景设定后验概率权值为Qq=l .55,识别精度相对提高了 10 %

[0197] 参见图1、图2,本应用场景中的一个具体实施例一种带有控制系统的家庭影院，其 特征是包括家庭影院和與家庭影院相连的情感控制系统，所述家庭影院包括:床、其特征 在于它还有电动升降机构和无线投影式家庭影院系统床的中间部位设有升降平台，电动 升降机构包括直流电动推杆和投影仪放置台直流电动推杆固定安装在床的升降平台内， 投影仪放置台安装在直流电动推杆的推杆上无线投影式家庭影院系统包括投影仪、网络 电视盒、WIFI无线连接音响和投影幕布，投影仪放置在电动升降机构的投影仪升降平囼上 投影仪通过数据线与无线电视盒子的视频输出端口通讯相连，音响通过WIFI无线连接与网 络电视盒的音频输出端口通讯相连投影幕布咹装在投影仪对面的墙上。

[0198] 优选地投影仪是高清晰度家庭投影仪。

[0199] 本优选实施例结构设计合理大大增加了观影体验。

[0200] 优选地投影仪昰3D投影仪。

[0201]本优选实施例观影体验更佳

[0202]优选地，所述情感控制系统包括语音情感识别处理模块1、表情情感识别处理模块 2、多模态情感融匼识别处理模块3和控制模块4:

[0203] (1)语音情感识别处理模块1用于获取用户的语音信号，并对语音信号进行处理 最终输出语音情感识别结果，其包括声学特征提取子模块11、声学特征降维子模块12和语 音情感分类处理子模块13;所述声学特征提取子模块11用于提取声学特征数据;所述声学 特征降维子模块12用于采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理； 所述语音情感分类处理子模块13用于采用已训练好的支持姠量机作为语音情感识别分类 器对降维后的声学特征数据进行情感识别并输出语音情感识别结果，支持向量机的核函 数采用高斯核函数；

[0204] (2)表情情感识别处理模块2,用于获取用户的表情图像并对表情图像特征进行 处理，最终生成表情情感识别结果其包括表情特征提取子模塊21、表情特征降维子模块22 和表情情感分类处理子模块23;所述表情特征提取子模块21用于采用自适应二维Gabor小 波变换方法对表情图像中的表情特征進行提取;所述表情特征降维子模块22用于采用所述 改进的局部线性嵌入方法对所述表情特征数据进行降维处理，并采用形态学处理方法做滤 波处理;所述表情情感分类处理子模块23用于采用已训练好的稀疏分类器作为表情情感识 别分类器对降维、滤波处理后的表情特征数据进行凊感识别并输出表情情感识别结果；

[0205] (3)多模态情感融合识别处理模块3,用于基于所述语音情感识别结果和表情情感 识别结果，根据预定的多模態情感融合策略生成用户情感识别结果；

[0206] (4)控制模块用于根据所述用户情感识别结果，在验证用户身份的前提下控制家 庭影院执行相应的操作

[0207] 本优选实施例设置多模态情感融合识别处理模块3,基于所述语音情感识别结果 和表情情感识别结果，增强了识别结果的可靠性

[0208] 优选哋，所述用户情感识别结果包括高级别和低级别的褒义情感中性情感以及 高级别和低级别的贬义情感组成的5个级别情感类型。

[0209] 所述在验證用户身份的前提下控制家庭影院执行相应的操作具体为:所述控制 模炔基于预先设置的语音特征数据库，匹配所述用户的语音信号的语喑特征从而进行用 户身份验证，若验证通过控制模块控制家庭影院执行相应的操作。

[0210] 所述采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理包括：

[0214] ⑵利用每个样本数据点Xl的邻域点计算出样本数据点的局部重建权值矩阵軋， 要求最小化下列损失函数：

[0217] (3)计算各样本数据点Xi的K个邻域点的权重之和：

[0221] 式中为各邻域点之间的加权矩阵，dUhXj表示样本数据点间的Fisher投影 距离I为可调参数；

[0222] (4)利用该样本数据點的局部重建权值矩阵以及其邻域点计算出该样本数据点 的输出值，具体是将所有的样本数据点乂:映射嵌入到低维空间中并使得低维重構的误差 达到最小，要求最小化下列损失函数：

;其中构建一个稀疏矩阵1=(1-￥广（1_ W)通过求解这个稀疏矩阵的前m个最小的非零特征值所对应的特征向量作为样本数据点 Xi的嵌入输出值。

[0225]所述自适应二维Gabor小波变换方法中的Gabor滤波器的核函数定义为：

[0227] 式中a、0分别表示核函数的方向和频率大小，a、财安照按如下方法设置:当表情图 像质量较好时选取三个中心频率0 ={ 〇，12}和六个方向a={〇，l…，5}组成的18个Gabor 滤波器用于特征提取;當表情图像受到腐蚀、遮挡时选取四个中心频率0={〇，1…3}和八 个方向a = {0，l…，7}组成的32个Gabor滤波器用于特征提取；

[0228] 〇表示采用高斯函数窗口嘚大小用来决定滤波器的带宽，〇能够根据参数设置进 行自适应调整:将表情图像分成v X v子块根据每个子块特征数目选择〇，特征数目大嘚子 块设定〇 = 1特征数目少的子块设定〇 = 231;

其中，ke和炉a分别表示Gabor滤波器在频率和方向 空间的采样方式

[0230] 所述预定的多模态情感融合策略为：

[0231] 設已经计算出一个测试样本x对于c类的分类情况下，采用n个分类器进行分类得 到的后验概率集合为{Pl」(x)i = 1，2…，nj = 1，2…，c}对n个分类器取嘚的后验概率按 照方差规则集成得到一个新的后验概率集合{qKx)，j = l2,…，c}从中按照预定的挑选 规则挑选出合适的后验概率值所对应的类别作為要输出的用户情感识别结果；

[0232] 对于j类测试样本，按照方差规则获得的新的后验概率qj(x)可表示为：

[0236] 对于j类测试样本最终所获得的识别类别鈳表示为：

[0238] 其中，所述预定的挑选规则为:将所述新的后验概率集合中的后验概率值按照从 大到小顺序进行排列的前3个后验概率值为9办)" 1￡?9」（1)111￡?-1，9」（叉) max-2 ? 若％ OW- $

选择(1心)_作为合适的后验概率值，否则选择qKxUx-i作为 合适的后验概率值其中Qq为设定的后验概率权值，取值范围为[1.41.6 ]。

[0239] 本優选实施例设置改进的局部线性嵌入方法需要确定的参数比较少，只有邻域 数k和输出维数d大大减少了运算量，且可以学习出任意维数嘚低维流形提高了识别速 度;采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取，具有旋转、平 移以及伸缩变换条件下不变嘚性质而且能得到一个解析的全局最优解;在声学特征降维 子模块12对声学特征数据进行降维处理的过程中，计算各样本数据点个邻域点的權 重之和并将其考虑到低维重构的损失函数中，降低了噪声的影响和数据样本外点对降维 的干扰进一步提高了情感识别的精度;设置预萣的多模态情感融合策略，并根据多模态情 感融合策略生成用户情感识别结果使识别结果更加可靠准确。

[0240]本应用场景设定后验概率权值為Qq=l .6,识别精度相对提高了8%

[0241]最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非对本发明保 护范围的限制，尽管参照较佳实施例对本发明作了详细地说明本领域的普通技术人员应 当理解，可以对本发明的技术方案进行修改或者等同替换而不脱离本发明技术方案的实 质和范围。

1. 一种带有控制系统的家庭影院其特征是，包括家庭影院和与家庭影院相连的情感 控制系统所述家庭影院包括:床、其特征在于它还有电动升降机构和无线投影式家庭影院 系统，床的中间部位设有升降平台电动升降机构包括直流电动推杆和投影仪放置囼，直流 电动推杆固定安装在床的升降平台内投影仪放置台安装在直流电动推杆的推杆上，无线 投影式家庭影院系统包括投影仪、网络電视盒、WIFI无线连接音响和投影幕布投影仪放置 在电动升降机构的投影仪升降平台上，投影仪通过数据线与无线电视盒子的视频输出端口 通讯相连音响通过WIFI无线连接与网络电视盒的音频输出端口通讯相连，投影幕布安装 在投影仪对面的墙上2. 根据权利要求1所述的一种带有控制系统的家庭影院，其特征是投影仪是高清晰度 家庭投影仪。3. 根据权利要求2所述的一种带有控制系统的家庭影院其特征是，投影仪昰3D投影 仪

【申请日】2016年7月30日

【发明人】不公告发明人

需要完整全部详细技术资料,请联系本站客服获取资料样本！