用户生物特征的认证方法和系统的制作方法
用户生物特征的认证方法和系统的制作方法
【专利摘要】本发明公开了一种用户生物特征的认证方法和系统。其中，用户生物特征的认证方法包括：客户端发送认证请求至服务器；客户端接收来自服务器的语音密码；客户端采集待认证用户的语音信息，并采集待认证用户的人脸图像；客户端判断语音信息与语音密码是否相同，并判断人脸图像是否有效；客户端在判断结果均为是的情况下，将语音信息片段关联至人脸图像；客户端采用预设算法计算语音密码、语音信息、目标图像、关联信息和第一时刻的摘要值；客户端发送认证内容至服务器；以及客户端接收来自服务器的认证响应。通过本发明，解决了现有技术中对生物特征的识别认证方式比较单一的问题，进而达到了利用生物特征识别过程中，提高身份认证安全性的效果。
【专利说明】用户生物特征的认证方法和系统
【技术领域】
[0001]本发明涉及生物识别【技术领域】，具体而言，涉及一种用户生物特征的认证方法和系统。
【背景技术】
[0002]互联网发展到今天，已经成为人类工作、生活、社交、经营不可替代的平台。而作为传统互联网的延伸和演进方向，移动互联网更是在近两年得到了迅猛的发展。如今，越来越多的用户得以通过高速的移动网络和强大的智能终端接入互联网，享受丰富的数据业务和互联网服务内容。移动互联网已成为全世界人们接入互联网的主要方式之一。
[0003]随着移动互联时代的到来，终端及网络的安全问题也日益严重，用户频繁的受到黑客、木马、恶意软件的攻击，手机丢失或被盗、银行账户被窃取、资金被盗用、用户身份被冒用现象等屡见不鲜。种种网络安全隐患引发了人们对网络安全的担忧，“用户号+密码”的身份认证模式已经不适应网络安全要求。人脸、声纹、指纹、虹膜等生物特征具有人体固有的唯一性、稳定性及不可复制性等特点，利用这些特点可以实现安全、便捷的身份识别，避免了传统的签名、密码、磁卡、IC卡等认证方式存在的遗忘、失窃、泄露、破解等不足和缺陷。随着生物特征识别技术的不断发展和完善，其在网络安全系统中被广泛应用，受到专家和广大用户的关注，成为终端登录、身份认证、公共安全管理的首选。
[0004]尽管生物特征识别技术是先进的、可靠的，但是其安全可靠是建立在生物特征数据安全的基础上，如何保证生物特征数据本身的真实有效性，以及不被窃取、不被泄露，这是摆在目前的实际问题。如果在网络传送过程中生物特征数据一旦泄漏，便会造成灾难性后果。而通过非法得到他人生物特征并加以复制，用复制的假生物特征骗过计算机系统进行冒名认证的事例也时有发生。
[0005]为保证利用生物特征进行身份识别的安全性，现有技术中提出了一种声纹认证系统，该认证系统主要通过先对用户提供的语音进行内容分析，将分析出的语音内容与密码内容进行模式匹配，然后再对用户提供的语音数据进行语音有效性检测，若为用户自然产生的有效数据，则进一步分析语音特征，来确定声纹认证是否通过。
[0006]上述认证方式虽然在一定程度上提高了利用生物特征进行身份识别的安全性，但是认证方式比较单一，容易因声纹被伪造或仿冒等情况造成错误认证，导致安全认证的有效性大大降低。
[0007]针对相关技术中对生物特征的识别认证方式比较单一的问题，目前尚未提出有效的解决方案。
【发明内容】
[0008]本发明的主要目的在于提供一种用户生物特征的认证方法和系统，以解决现有技术中对生物特征的识别认证方式比较单一的问题。
[0009]根据本发明的一个方面，提供了一种用户生物特征的认证方法，包括:客户端发送认证请求至服务器；客户端接收来自服务器的语音密码；客户端采集待认证用户的语音信息，并在采集语音信息过程中采集待认证用户的人脸图像；客户端判断语音信息与语音密码是否相同，并判断人脸图像是否有效；客户端在判断出语音信息与语音密码相同，并且人脸图像有效的情况下，将语音信息片段关联至人脸图像，其中，语音信息片段为第一时间内采集到的部分语音信息，第一时间包括第二时间，第二时间为人脸图像的采集时间；客户端采用预设算法计算语音密码、语音信息、目标图像、目标图像与语音信息片段之间的关联信息和第一时刻的摘要值，得到第一摘要值，其中，目标图像为关联语音信息片段的人脸图像，第一时刻为服务器接收到认证请求的时间；客户端发送认证内容至服务器，其中，认证内容包括语音信息、目标图像、关联信息和第一摘要值；以及客户端接收来自服务器的认证响应，其中，认证响应为服务器对语音密码和认证内容的处理结果。
[0010]进一步地,认证响应包括第一认证响应和第二认证响应,其中，在客户端发送认证内容至服务器之后，并且在客户端接收来自服务器的认证响应之前，认证方法还包括:服务器采用预设算法再次计算语音密码、语音信息、目标图像、关联信息和第一时刻的摘要值，得到第二摘要值；服务器判断第一摘要值和第二摘要值是否相同；服务器在判断出第一摘要值和第二摘要值相同的情况下，判断语音信息与语音密码是否相同；服务器在判断出语音信息与语音密码相同的情况下，将目标图像还原，得到人脸图像；服务器计算语音信息和预设声纹模型之间的相似度，并计算人脸图像与预设人脸模型之间的相似度；服务器判断声纹相似度是否达到第一预设值，并判断人脸相似度是否达到第二预设值，其中，声纹相似度为计算出的语音信息和预设声纹模型之间的相似度，人脸相似度为计算出的人脸图像与预设人脸模型之间的相似度；服务器在判断出声纹相似度达到第一预设值，并且人脸相似度达到第二预设值的情况下，发送第一认证响应和判断结果至客户端，或判断出声纹相似度未达到第一预设值，并且人脸相似度未达到第二预设值的情况下，发送第二认证响应和判断结果至客户端,其中，第一认证响应表示待认证用户通过认证,第二认证响应表示待认证用户未通过认证。
[0011]进一步地，认证方法还包括:在判断出声纹相似度未达到第一预设值，并且人脸相似度达到第二预设值的情况下，服务器判断声纹相似度是否达到第三预设值，其中，服务器在判断出声纹相似度达到第三预设值的情况下，发送第一认证响应和判断结果至客户端，或在判断出声纹相似度未达到第三预设值的情况下，发送第二认证响应和判断结果至客户端，其中，第三预设值小于第一预设值；或在判断出声纹相似度达到第一预设值，并且人脸相似度未达到第二预设值的情况下，服务器判断人脸相似度是否达到第四预设值，其中，月艮务器在判断出人脸相似度达到第四预设值的情况下，发送第一认证响应和判断结果至客户端，或在判断出人脸相似度未达到第四预设值的情况下，发送第二认证响应和判断结果至客户端，其中，第四预设值小于第二预设值。
[0012]进一步地，服务器判断语音信息与语音密码是否相同包括:服务器获取分别表示语音信息和语音密码的字符串；服务器比较表示语音信息和表示语音密码的字符串是否相同；以及服务器在比较出表示语音信息和表示语音密码的字符串相同的情况下，确定语音信息和语音密码相同。
[0013]进一步地，在客户端发送认证内容至服务器之后，并且在客户端接收来自服务器的认证响应之前，认证方法还包括:服务器计算第二时刻与第一时刻之间的时间间隔，其中，第二时刻为服务器接收到认证内容的时间；服务器判断时间间隔是否小于预设时长；以及服务器在判断出时间间隔小于预设时长的情况下，对语音密码和认证内容进行处理。
[0014]进一步地，在客户端接收来自服务器的语音密码之后，认证方法还包括:客户端监测待认证用户的嘴部区域，其中，客户端在监测出嘴部区域发生变化的情况下，采集语音信息，并在采集语音信息过程中采集人脸图像。
[0015]进一步地，人脸图像包括至少两幅人脸图像，客户端判断人脸图像是否有效包括:客户端计算至少两幅人脸图像之间的相似度；客户端判断至少两幅人脸图像之间的相似度是否达到第五预设值；以及客户端在判断出至少两幅人脸图像之间的相似度达到第五预设值的情况下，确定人脸图像有效。
[0016]进一步地，语音密码的格式为文本格式，语音信息和语音信息片段的格式均为音频格式，人脸图像的格式为图片格式，其中:客户端判断语音信息与语音密码是否相同包括:客户端获取分别表示语音信息和语音密码的字符串，并比较表示语音信息和表示语音密码的字符串是否相同，以及在比较出表示语音信息和表示语音密码的字符串相同的情况下，确定语音信息和语音密码相同；客户端在判断出语音信息与语音密码相同，并且人脸图像有效的情况下，将语音信息片段关联至人脸图像包括:客户端将语音信息片段转换为语音文字图片，并将语音文字图片叠加到人脸图像上。
[0017]根据本发明的另一方面，提供了一种用户生物特征的认证系统，包括客户端和服务器，其中，客户端包括:第一发送单元，用于发送认证请求至服务器；第一接收单元，用于接收来自服务器的语音密码；采集单元，用于采集待认证用户的语音信息，并在采集语音信息过程中采集待认证用户的人脸图像；第一判断单元，用于判断语音信息与语音密码是否相同，并判断人脸图像是否有效；关联单元，用于在判断出语音信息与语音密码相同，并且人脸图像有效的情况下，将语音信息片段关联至人脸图像，其中，语音信息片段为第一时间内采集到的部分语音信息，第一时间包括第二时间，第二时间为人脸图像的采集时间；第一计算单元，用于采用预设算法计算语音密码、语音信息、目标图像、目标图像与语音信息片段之间的关联信息和第一时刻的摘要值，得到第一摘要值，其中，目标图像为关联语音信息片段的人脸图像，第一时刻为服务器接收到认证请求的时间；第二发送单元，用于发送认证内容至服务器，其中，认证内容包括语音信息、目标图像、关联信息和第一摘要值；以及第二接收单元，用于接收来自服务器的认证响应，其中，认证响应为服务器对语音密码和认证内容的处理结果。
[0018]进一步地，认证响应包括第一认证响应和第二认证响应，服务器包括:第二计算单元，用于采用预设算法再次计算语音密码、语音信息、目标图像、关联信息和第一时刻的摘要值，得到第二摘要值；第二判断单元，用于判断第一摘要值和第二摘要值是否相同；第三判断单元，用于在第二判断单元判断出第一摘要值和第二摘要值相同的情况下，判断语音信息与语音密码是否相同；还原单元，用于在第三判断单元判断出语音信息与语音密码相同的情况下，将目标图像还原，得到人脸图像；第三计算单元，用于计算语音信息和预设声纹模型之间的相似度，并计算人脸图像与预设人脸模型之间的相似度；第四判断单元，用于判断声纹相似度是否达到第一预设值，并判断人脸相似度是否达到第二预设值，其中，声纹相似度为计算出的语音信息和预设声纹模型之间的相似度，人脸相似度为计算出的人脸图像与预设人脸模型之间的相似度；第三发送单元，用于在第四判断单元判断出声纹相似度达到第一预设值，并且人脸相似度达到第二预设值的情况下，发送第一认证响应和判断结果至客户端，或在第四判断单元判断出声纹相似度未达到第一预设值，并且人脸相似度未达到第二预设值的情况下，发送第二认证响应和判断结果至客户端，其中，第一认证响应表示待认证用户通过认证，第二认证响应表示待认证用户未通过认证。
[0019]进一步地，在第四判断单元判断出声纹相似度未达到第一预设值，并且人脸相似度达到第二预设值的情况下，第四判断单元还用于判断声纹相似度是否达到第三预设值，其中，在第四判断单元判断出声纹相似度达到第三预设值的情况下，第三发送单元还用于发送第一认证响应和判断结果至客户端，或在第四判断单元判断出声纹相似度未达到第三预设值的情况下，第三发送单元还用于发送第二认证响应和判断结果至客户端，其中，第三预设值小于第一预设值；或在第四判断单元判断出声纹相似度达到第一预设值，并且人脸相似度未达到第二预设值的情况下，第四判断单元还用于判断人脸相似度是否达到第四预设值，其中，在第四判断单元判断出人脸相似度达到第四预设值的情况下，第三发送单元还用于发送第一认证响应和判断结果至客户端，或在第四判断单元判断出人脸相似度未达到第四预设值的情况下，第三发送单元还用于发送第二认证响应和判断结果至客户端，其中，第四预设值小于第二预设值。
[0020]进一步地，第三判断单元包括:第一获取子单元，用于获取分别表示语音信息和语音密码的字符串；第一比较子单元，用于比较表示语音信息和表示语音密码的字符串是否相同；以及第一确定子单元，用于在第一比较子单元比较出表示语音信息和表示语音密码的字符串相同的情况下，确定语音信息和语音密码相同。
[0021]进一步地，服务器还包括:第四计算单元，用于计算第二时刻与第一时刻之间的时间间隔，其中，第二时刻为服务器接收到认证内容的时间；第五判断单元，用于判断时间间隔是否小于预设时长；以及处理单元，用于在第五判断单元判断出时间间隔小于预设时长的情况下，对语音密码和认证内容进行处理。
[0022]进一步地，客户端还包括:监测单元，用于监测待认证用户的嘴部区域，其中，在监测单元监测出嘴部区域发生变化的情况下，采集单元采集语音信息，并在采集语音信息过程中采集人脸图像。
[0023]进一步地，人脸图像包括至少两幅人脸图像，第一判断单元包括:计算子单元，用于计算至少两幅人脸图像之间的相似度；判断子单元，用于判断至少两幅人脸图像之间的相似度是否达到第五预设值；以及第二确定子单元，用于在判断子单元判断出至少两幅人脸图像之间的相似度达到第五预设值的情况下，确定人脸图像有效。
[0024]进一步地，语音密码的格式为文本格式，语音信息和语音信息片段的格式均为音频格式，人脸图像的格式为图片格式，其中:第一判断单元还包括:第二获取子单元、第二比较子单元和第三确定子单元，其中，第二获取子单元用于获取分别表示语音信息和语音密码的字符串，第二比较子单元用于比较表示语音信息和表示语音密码的字符串是否相同，第三确定子单元用于在第二比较子单元比较出表示语音信息和表示语音密码的字符串相同的情况下，确定语音信息和语音密码相同；关联单元包括:转换子单元和叠加子单元，其中，转换子单元用于将语音信息片段转换为语音文字图片，叠加子单元用于将语音文字图片叠加到人脸图像上。
[0025]在本发明中，通过接收到语音密码的情况下，并在采集语音信息的过程中同时采集人脸图像，并将采集人脸图像前后的语音信息片段关联至人脸图像中，实现了对语音信息、人脸图像和语音密码的相互关联，避免了现有技术中认证方式比较单一容易被伪造或仿冒而造成错误认证，解决了现有技术中对生物特征的识别认证方式比较单一的问题，进而达到了利用生物特征识别过程中，提高身份认证安全性的效果。进一步地，通过利用动态语音具有防止录音回放的特性作为语音密码，并且人脸图像和语音信息存在关联，具有及时性和随机性，实现了语音和人脸的有效关联，达到充分检验生物特征活性的效果。
【专利附图】
【附图说明】
[0026]构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中:
[0027]图1是根据本发明实施例的用户生物特征的认证方法的流程图；
[0028]图2是根据本发明优选实施例的用户生物特征的认证方法的流程图；
[0029]图3是根据本发明实施例的用户生物特征的认证系统的示意图；
[0030]图4是根据本发明实施例的用户生物特征的认证系统中客户端的示意图；
[0031]图5是根据本发明实施例的用户生物特征的认证系统中服务器的示意图；以及
[0032]图6是根据本发明实施例的用户生物特征的认证系统的应用示意图。
【具体实施方式】
[0033]为了使本【技术领域】的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
[0034]需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0035]在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
[0036]首先，对本发明实施例所用到的技术术语做解释如下:
[0037]( I)语音识别
[0038]语音识别技术，也被称为自动语音识别(Automatic Speech Recognition,简称ASR)，其目标是将人类的语音中的词汇内容转换为计算机可读的输入。
[0039](2)声纹识别
[0040]声纹识别(Voiceprint Recognition,简称VPR),也称为说话人识别(SpeakerRecognition),有两类，即说话人辨认(Speaker Identification)和说话人确认(SpeakerVerification)。
[0041]文本相关的应用模式:文本相关指进行声纹识别时，用户的说话内容需与声纹注册时相同或者与提示语音中播报的文本相同，即声音密码的形式，充当验证码的功能；可以有效防止录音回放的欺诈行为。
[0042]文本无关的应用模式:文本无关指进行声纹识别时，用户的说话内容可以随意说，无需和注册时语音相关，提升用户体验效果。
[0043](3)语音密码
[0044]用于语音文本提示或语音文本验证的可见字符，例如:数字、汉字、字母等，语音密码可以是一次有效的动态密码，也可以是固定密码。
[0045](4)语音文本提示
[0046]屏幕显示的语音文字内容，或语音播报中的文本内容，用于提示说话人的语音内容。
[0047](5)语音文字图片
[0048]将语音文字内容转换为图片形式，同时，通过OCR技术也可将文字图片转换为文字形式。
[0049](6)生物特征模型
[0050]利用所采集的生物特征样本提取特征序列，称为建模过程，得到生物特征模型，例如声纹模型、人脸模型。
[0051](7)有效性
[0052]生物特征的有效性是指生物特征的可用性和真实性(生物活性)，通过有效性检验来判断生物特征是否真实有效。
[0053](8)摘要
[0054]将生物特征信息、时间戳、语音密码等动态因子进行组合，采用杂凑算法生成单向的、定长的字符串，即:摘要，对任一因子的微小修改，都会导致摘要的完全不同。
[0055]实施例1
[0056]根据本发明实施例，可以提供了一种可以用于实施本申请装置实施例的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0057]根据本发明实施例，提供了一种用户生物特征的认证方法，以下对本发明实施例所提供的用户生物特征的认证方法做具体介绍:
[0058]图1是根据本发明实施例的用户生物特征的认证方法的流程图，如图1所示，该方法包括如下的步骤SlOl至步骤S108:
[0059]SlOl:客户端发送认证请求至服务器，具体地，待认证用户在通过客户端进行认证时，需要确定生物特征认证的比对方式，即，从客户端上选择是“一对一”的特征比对方式，还是“一对多”的特征比对方式，其中，在“一对一”比对方式下，需要待认证用户在客户端上输入该待认证用户的标识信息(比如:用户ID等);在待认证用户选择“一对多”比对方式的情况下，则无需用户输入标识信息，客户端直接发送认证请求至服务器。其中，客户端可以分布在手机、平板电脑、笔记本等网络终端上。[:客户端接收来自服务器的语音密码，具体地，服务器在接收到客户端发送的认证请求后，会反馈语音密码和时间戳至客户端，其中，语音密码可以是固定密码，也可以是一次有效的动态密码，在本发明实施例中，优选为动态密码；时间戳则是服务器接收到认证请求的时间。
[:客户端采集待认证用户的语音信息，并在采集语音信息过程中采集待认证用户的人脸图像，具体地，客户端在接收到语音密码后，按照语音密码提示待认证用户提供语音，并启动生物特征采集功能，对语音信息进行采集，同时，还在采集语音信息过程中采集待认证用户的人脸图像。其中，生物特征采集功能具有人脸拍摄、人脸嘴部姿态检测、语首检测和语首获取等功能。
[:客户端判断语音信息与语音密码是否相同，并判断人脸图像是否有效。
[:客户端在判断出语音信息与语音密码相同，并且人脸图像有效的情况下，将语音信息片段关联至人脸图像，其中，语音信息片段为第一时间内采集到的部分语音信息，第一时间包括第二时间，第二时间为人脸图像的采集时间，即，将人脸图像拍摄时间前后的语音信息片段关联到人脸图像中。
[:客户端采用预设算法计算语音密码、语音信息、目标图像、目标图像与语音信息片段之间的关联信息和第一时刻的摘要值，得到第一摘要值，其中，目标图像为关联语音信息片段的人脸图像，第一时刻为服务器接收到认证请求的时间，具体地，可以对“语音密码+语音信息+目标图像+关联信息+第一时刻”进行杂凑运算，得到第一摘要值，具体运算过程如下:
[0065]杂凑算法又称为散列算法或哈希算法，杂凑算法分为多种，包括但不限于:SHA_1、SHA-256、SM3、MD5等算法。这里用H (ΒΙ0，TM，CN)来表示，其中，BIO表示生物特征信息，包括语音信息、目标图像和目标图像与语音信息片段之间的关联信息，TM表示时间戳，在对第一摘要值进行计算过程中，时间戳具体为第一时刻，CN表示语音密码。
[0066]CN为随机数，至少为8位可见字符，这里用语音密码表示，例如:“”，运算时，表示为 “0x35，0x39，0x37，0x31，0x33，0x31，0x33，0x31” ；
[0067]TM为时间戳，如当前时间是日15点01分，则对应的TM表示为“0x32，0x30，0x31，0x32，0x30，0x39，0x32，0x30，0x31，0x35，0x30，0x31” 12 个字节的数据；
[0068]BIO为生物特征数据，为变长字段，这里的生物特征包括语音信息、目标图像及相关关联信息；
[0069]将上述字段数据组成一段变长数据，S卩:B10+TM+CN，作为输入的原文数据，通过杂凑算法的运算，形成定长的摘要数据。
[0070]其中:
[0071]SM3:生成摘要为32字节；
[0072]SHA-1:生成摘要为20字节；
[0073]SHA-256:生成摘要为32字节；
[0074]MD5:生成摘要为16字节。
[0075]本发明中，摘要数据是利用随机数、时间戳及生物特征信息等参与运算而产生的，每项因子都具有动态特性，是确保信息完整性和可靠性的最佳方式。
[:客户端发送认证内容至服务器，其中，认证内容包括语音信息、目标图像、目标图像与语音信息片段之间的关联信息和第一摘要值。
[:客户端接收来自服务器的认证响应，其中，认证响应为服务器对语音密码和认证内容的处理结果，具体地，服务器在接收到认证内容后，对认证内容进行处理，如果认证通过，则反馈表示认证通过的认证结果和认证响应至客户端，反之，则反馈表示认证未通过的认证结果的认证响应至客户端。
[0078]本发明实施例所提供的用户生物特征的认证方法，通过接收到语音密码的情况下，并在采集语音信息的过程中同时采集人脸图像，并将采集人脸图像前后的语音信息片段关联至人脸图像中，实现了对语音信息、人脸图像和语音密码的相互关联，避免了现有技术中认证方式比较单一容易被伪造或仿冒而造成错误认证，解决了现有技术中对生物特征的识别认证方式比较单一的问题，进而达到了利用生物特征识别过程中，提高身份认证安全性的效果。进一步地，通过利用动态语音具有防止录音回放的特性作为语音密码，并且人脸图像和语音信息存在关联，具有及时性和随机性，实现了语音和人脸的有效关联，达到充分检验生物特征活性的效果。
[0079]其中，在客户端接收来自服务器的语音密码之后，并且在客户端采集待认证用户的语音信息，本发明实施例的认证方法还包括:客户端监测待认证用户的嘴部区域，其中，客户端在监测出嘴部区域发生变化的情况下，采集语音信息，并在采集语音信息过程中采集人脸图像。具体地，如果监测到监测画面中嘴部发生张开或闭合，即确定嘴部区域发生变化。
[0080]优选地，服务器发送至客户端的认证响应包括第一认证响应和第二认证响应，其中，第一认证响应表示待认证用户通过认证，第二认证响应表示待认证用户未通过认证。如图2所示，在步骤S107客户端发送认证内容至服务器之后，并且在步骤S108客户端接收来自服务器的认证响应之前，本发明实施例的认证方法还包括:
[:服务器采用预设算法再次计算语音密码、语音信息、目标图像、关联信息和第一时刻的摘要值，得到第二摘要值，即，服务器采用与客户端同样的算法，对语音密码、第一时刻和服务器发送过来的认证内容再次进行摘要值计算，具体计算方式与上述客户端进行第一摘要值计算的方式相同，此处不再赘述。
[:服务器判断第一摘要值和第二摘要值是否相同。其中，如果判断出第一摘要值和第二摘要值相同，则说明客户端传输过来的数据整体真实完整，未被篡改，反之，数据非法。
[:服务器在判断出第一摘要值和第二摘要值相同的情况下，判断语音信息与语音密码是否相同，即，在判断出客户端传输过来的数据整体真实完整的情况下，进一步判断语音信息和语音密码是否相同，在判断结果为是的情况下，说明客户端传输过来的语音信息数据真实有效。具体地，主要是获取分别表示语音信息和语音密码的字符串，然后比较表示语音信息和表示语音密码的字符串是否相同，在比较出表示语音信息和表示语音密码的字符串相同的情况下，确定语音信息和语音密码相同。
[:服务器在判断出语音信息与语音密码相同的情况下，将目标图像还原，得到人脸图像，其中，将目标图像还原主要是将语音信息片段从目标图像中清除，从而达到还原人脸图像的目的。由于将人脸图像与说话人关联起来，并且叠加至人脸图像中的是说话人说话过程中的语音文字图片，又由于语音密码本身是变化的，人脸采集时间也是不定的，因而所形成的目标图像具有实时性和随机性，通过语音信息片段和人脸图像的关联，并通过上述一系列判断，实现了能够保证获取的人脸图像的真实有效，并且所拍摄的人脸图像和米集到的语音信息来自同一个人。
[:服务器计算语音信息和预设声纹模型之间的相似度，并计算人脸图像与预设人脸模型之间的相似度，在经过一系列判断后，确定出语音信息和人脸图像真实有效，并且均未被篡改，服务器进行声纹识别和人脸识别来验证待识别用户是否通过认证。
[:服务器判断声纹相似度是否达到第一预设值，并判断人脸相似度是否达到第二预设值，其中，声纹相似度为计算出的语音信息和预设声纹模型之间的相似度，人脸相似度为计算出的人脸图像与预设人脸模型之间的相似度。
[0087]具体地，如果在步骤SlOl中待识别用户通过客户端选择了“一对一”比对方式，则服务器根据待识别用户的标识信息，从预设数据库中查找出预设声纹模型和预设人脸模型，其中，在预设数据库中存储有多组声纹模型和人脸模型，每一组声纹模型和人脸模型均具有一个标识信息，如果先前步骤中确定了 “一对一”比对方式，服务器从预设数据库中查找出具有相同标识信息的一组声纹模型和人脸模型即可，并进行声纹相似度、人脸相似度的计算和判断。如果先前步骤中确定了“一对多”比对方式，则服务器需要采用遍历查找的方式，依次计算和判断语音信息和人脸图像与每一组预设声纹模型和人脸模型之间的相似度。
[:服务器在判断出声纹相似度达到第一预设值，并且人脸相似度达到第二预设值的情况下，发送第一认证响应和判断结果至客户端，或判断出声纹相似度未达到第一预设值，并且人脸相似度未达到第二预设值的情况下，发送第二认证响应和判断结果至客户端。其中，第一预设值和第二预设值均是根据算法评价指标和实际认证精度需要设置，二者可以相同，也可以不相同。
[0089]由于采用杂凑算法生成单向摘要，该摘要运算过程不可逆，且对任一因子的微小修改，都会导致摘要的完全不同。因此，通过客户端对语音密码、语音信息、目标图像、关联信息和第一时刻进行摘要值计算，并通过服务器采用同样的算法再次对语音密码、语音信息、目标图像、关联信息和第一时刻进行摘要值计算，然后比较二者是否相同，可以确保生物特征识别过程的完整性和安全可靠性。同时，在客户端和服务器计算出的摘要值相同的情况下，进一步对语音信息和人脸图像的有效性进行校验，实现了生物特征有效性校验，防止系统交互、网络通信过程中的数据篡改，既实现了多种生物特征的结合认证方式，实现了保证认证过程中数据的有效性、真实性和完整性，进一步提高了利用生物特征识别过程中，身份识别的安全性。
[0090]此外，本发明实施例的认证方法还包括:在判断出声纹相似度未达到第一预设值，并且人脸相似度达到第二预设值的情况下，服务器判断声纹相似度是否达到第三预设值，其中，服务器在判断出声纹相似度达到第三预设值的情况下，发送第一认证响应和判断结果至客户端，或在判断出声纹相似度未达到第三预设值的情况下，发送第二认证响应和判断结果至客户端，其中，第三预设值小于第一预设值；或在判断出声纹相似度达到第一预设值，并且人脸相似度未达到第二预设值的情况下，服务器判断人脸相似度是否达到第四预设值，其中，服务器在判断出人脸相似度达到第四预设值的情况下，发送第一认证响应和判断结果至客户端，或在判断出人脸相似度未达到第四预设值的情况下，发送第二认证响应和判断结果至客户端，其中，第四预设值小于第二预设值。第三预设值和第四预设值同样均是根据算法评价指标和实际认证精度需要设置。
[0091]S卩，在步骤S206判断出声纹相似度和人脸相似度一个能够达到上限，一个达不到上限的情况下，进一步判断这个达不到上限的相似度是否低于相应的下限，若判断出不低于相应的下限，仍然确定通过认证。
[0092]优选地，在客户端发送认证内容至服务器之后，并且在客户端接收来自服务器的认证响应之前，本发明实施例的认证方法还包括:服务器计算第二时刻与第一时刻之间的时间间隔，其中，第二时刻为服务器接收到认证内容的时间；服务器判断时间间隔是否小于预设时长；以及服务器在判断出时间间隔小于预设时长的情况下，对语音密码和认证内容进行处理，其中，预设时长为根据实际需要设定的时长。
[0093]如果从客户端发起认证请求至发送认证内容之间的时间间隔越长，则传输至服务器的数据被伪造和篡改的可能性越大，通过在判断出时间间隔小于预设时长的情况下，才对语音密码和认证内容进行处理，达到了降低数据被伪造和篡改的可能性，进一步提高认证的安全性。
[0094]进一步地，在本发明实施例中，语音密码的格式为文本格式，语音信息和语音信息片段的格式均为音频格式，人脸图像的格式为图片格式，其中:
[0095]客户端判断语音信息与语音密码是否相同包括:客户端获取分别表示语音信息和语音密码的字符串，并比较表示语音信息和表示语音密码的字符串是否相同，以及在比较出表示语音信息和表示语音密码的字符串相同的情况下，确定语音信息和语音密码相同；
[0096]客户端在判断出语音信息与语音密码相同，并且人脸图像有效的情况下，将语音信息片段关联至人脸图像包括:客户端将语音信息片段转换为语音文字图片，并将语音文字图片叠加到人脸图像上。具体地，可以采用异或的方式进行图片叠加，图片叠加方法及具体步骤如下:
[0097]将人脸图像拍摄时间前后的语音信息片段按顺序生成单个图片，即形成语音文字图片，每个图片的规格相同，其中，将语音信息片段转换成图片的方式可以采用现有技术中任意一种进行音频转图片的方式，此处不再赘述。
[0098]将语音文字图片叠加到人脸图像中，采用异或的方法，即“语音文字图片⑩人脸图像”，“⑩”表示异或运算；同时，记录每个语音文字图片在人脸图像中的叠加位置，并且叠加过程中每一个语音文字图片不重叠。
[0099]通过图片叠加方式，将语音信息与人脸图像进行关联，相当于对人脸图像加入了噪声，既是对人脸图像的破坏，又是对人脸图像的保护，并且叠加的是说话人当时的语音文字图片，具有实时性。
[0100]相应地，服务器在进行人脸图像的还原时，同样采用异或的方法，具体还原过程及方法如下:根据每个语音文字图片在人脸图像中的叠加位置，将已经叠加了语音文字图片的目标图像与对应的语音文字图片做异或运算，相当于把人脸图像中对应位置的语音文字图片清除，达到了还原人脸图像的目的。
[0101]进一步地，采集到的人脸图像包括至少两幅人脸图像，步骤S104中客户端判断人脸图像是否有效的具体方式为:客户端计算至少两幅人脸图像之间的相似度；客户端判断至少两幅人脸图像之间的相似度是否达到第五预设值；以及客户端在判断出至少两幅人脸图像之间的相似度达到第五预设值的情况下，确定人脸图像有效。通过利用生物特征有效性判断方法判断语音、人脸等数据的可用性和真实性，实现了从源头上对数据的有效性进行判断和控制。
[0102]需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
[0103]通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如R0M/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0104]实施例2
[0105]根据本发明实施例，还提供了一种用于实施上述用户生物特征的认证方法的用户生物特征的认证系统，该认证系统主要用于执行本发明实施例上述内容所提供的认证方法，以下对本发明实施例所提供的用户生物特征的认证系统做具体介绍:
[0106]图3是根据本发明实施例的认证系统的示意图，如图3所示，该认证系统主要包括客户端10和服务器20，其中，客户端10和服务器20可以通过移动网络、互联网或企业网进行通信。具体地，如图4所示，客户端10主要包括第一发送单元11、第一接收单元12、采集单元13、第一判断单元14、关联单元15、第一计算单元16、第二发送单元17和第二接收单元18，其中:
[0107]第一发送单元11用于发送认证请求至服务器20，具体地，待认证用户在通过客户端10进行认证时，需要确定生物特征认证的比对方式，S卩，从客户端10上选择是“一对一”的特征比对方式，还是“一对多”的特征比对方式，其中，在“一对一”比对方式下，需要待认证用户在客户端10上输入该待认证用户的标识信息(比如:用户ID等);在待认证用户选择“一对多”比对方式的情况下，则无需用户输入标识信息，第一发送单元11直接发送认证请求至服务器20。
[0108]第一接收单元12用于接收来自服务器20的语音密码，具体地，服务器20在接收到客户端10发送的认证请求后，会反馈语音密码和时间戳至客户端10，其中，语音密码可以是固定密码，也可以是一次有效的动态密码，在本发明实施例中，优选为动态密码；时间戳则是服务器20接收到认证请求的时间。
[0109]采集单元13用于采集待认证用户的语音信息，并在采集语音信息过程中采集待认证用户的人脸图像，具体地，客户端10在第一接收单元12接收到语音密码后，按照语音密码提示待认证用户提供语音，并启动生物特征采集功能，对语音信息进行采集，同时，还在采集语音信息过程中采集待认证用户的人脸图像。其中，生物特征采集功能具有人脸拍摄、人脸嘴部姿态检测、语音检测和语音获取等功能。采集单元13为设置于客户端10的语音及摄像装置，可以是集成于客户端10的装置，也可以为与客户端10相连接、相互通信的独立装置，语音装置用于说话人语音获取和语音播报，摄像装置用于人脸图像的拍摄。
[0110]第一判断单元14用于判断语音信息与语音密码是否相同，并判断人脸图像是否有效。
[0111]关联单元15用于在判断出语音信息与语音密码相同，并且人脸图像有效的情况下，将语音信息片段关联至人脸图像，其中，语音信息片段为第一时间内采集到的部分语音信息，第一时间包括第二时间，第二时间为人脸图像的采集时间，即，将人脸图像拍摄时间前后的语音信息片段关联到人脸图像中。
[0112]第一计算单元16用于采用预设算法计算语音密码、语音信息、目标图像、目标图像与语音信息片段之间的关联信息和第一时刻的摘要值，得到第一摘要值，其中，目标图像为关联语音信息片段的人脸图像，第一时刻为服务器20接收到认证请求的时间，具体地，可以对“语音密码+语音信息+目标图像+关联信息+第一时刻”进行杂凑运算，得到第一摘要值，具体运算过程如下:
[0113]杂凑算法又称为散列算法或哈希算法，杂凑算法分为多种，包括但不限于:SHA_1、SHA-256、SM3、MD5等算法。这里用H (ΒΙ0，TM，CN)来表示，其中，BIO表示生物特征信息，包括语音信息、目标图像和目标图像与语音信息片段之间的关联信息，TM表示时间戳，在对第一摘要值进行计算过程中，时间戳具体为第一时刻，CN表示语音密码。
[0114]CN为随机数，至少为8位可见字符，这里用语音密码表示，例如:“”，运算时，表示为 “0x35，0x39，0x37，0x31，0x33，0x31，0x33，0x31” ；
[0115]TM为时间戳，如当前时间是日15点01分，则对应的TM表示为“0x32，0x30，0x31，0x32，0x30，0x39，0x32，0x30，0x31，0x35，0x30，0x31” 12 个字节的数据；
[0116]BIO为生物特征数据，为变长字段，这里的生物特征包括语音信息、目标图像及相关关联信息；
[0117]将上述字段数据组成一段变长数据，S卩:B10+TM+CN，作为输入的原文数据，通过杂凑算法的运算，形成定长的摘要数据。
[0118]其中:
[0119]SM3:生成摘要为32字节；
[0120]SHA-1:生成摘要为20字节；
[0121]SHA-256:生成摘要为32字节；
[0122]MD5:生成摘要为16字节。
[0123]本发明中，摘要数据是利用随机数、时间戳及生物特征信息等参与运算而产生的，每项因子都具有动态特性，是确保信息完整性和可靠性的最佳方式。
[0124]第二发送单元17用于发送认证内容至服务器20，其中，认证内容包括语音信息、目标图像、目标图像与语音信息片段之间的关联信息和第一摘要值。
[0125]第二接收单元18用于接收来自服务器20的认证响应，其中，认证响应为服务器20对语音密码和认证内容的处理结果，具体地，服务器20在接收到认证内容后，对认证内容进行处理，如果认证通过，则反馈表示认证通过的认证结果和认证响应至客户端10，反之，则反馈表示认证未通过的认证结果的认证响应至客户端10。
[0126]本发明实施例所提供的用户生物特征的认证系统，通过接收到语音密码的情况下，并在采集语音信息的过程中同时采集人脸图像，并将采集人脸图像前后的语音信息片段关联至人脸图像中，实现了对语音信息、人脸图像和语音密码的相互关联，避免了现有技术中认证方式比较单一容易被伪造或仿冒而造成错误认证，解决了现有技术中对生物特征的识别认证方式比较单一的问题，进而达到了利用生物特征识别过程中，提高身份认证安全性的效果。进一步地，通过利用动态语音具有防止录音回放的特性作为语音密码，并且人脸图像和语音信息存在关联，具有及时性和随机性，实现了语音和人脸的有效关联，达到充分检验生物特征活性的效果。
[0127]其中，客户端10还包括监测单元，在第一接收单元12接收来自服务器20的语音密码之后，监测单元监测待认证用户的嘴部区域，其中，采集单元13在监测出嘴部区域发生变化的情况下，采集语音信息，并在采集语音信息过程中采集人脸图像。具体地，如果监测到监测画面中嘴部发生张开或闭合，即确定嘴部区域发生变化。
[0128]优选地，服务器20发送至客户端10的认证响应包括第一认证响应和第二认证响应，其中，第一认证响应表示待认证用户通过认证，第二认证响应表示待认证用户未通过认证。如图5所示，服务器20主要包括:第二计算单元21、第二判断单元22、第三判断单元23、还原单元24、第三计算单元25、第四判断单元26和第三发送单元27，其中:
[0129]第二计算单元21用于采用预设算法再次计算语音密码、语音信息、目标图像、关联信息和第一时刻的摘要值，得到第二摘要值，即，采用与客户端10第一计算单元16同样的算法，对语音密码、第一时刻和客户端10发送过来的认证内容再次进行摘要值计算，具体计算方式与上述客户端10进行第一摘要值计算的方式相同，此处不再赘述。其中，在服务器20中具有并与第一发送单元11发送过来的认证请求对应的认证请求ID，当服务器再次接收到来自同一 ID的认证内容后，能够根据该ID查找到对应的语音密码和第一时刻。
[0130]第二判断单元22用于判断第一摘要值和第二摘要值是否相同。其中，如果判断出第一摘要值和第二摘要值相同，则说明客户端10传输过来的数据整体真实完整，未被篡改，反之，数据非法。
[0131]第三判断单元23用于在第二判断单元判断出第一摘要值和第二摘要值相同的情况下，判断语音信息与语音密码是否相同，即，在判断出客户端10传输过来的数据整体真实完整的情况下，进一步判断语音信息和语音密码是否相同，在判断结果为是的情况下，说明客户端10传输过来的语音信息数据真实有效。具体地，第三判断单元23主要包括第一获取子单元、第一比较子单元和第一确定子单元，其中，第一获取子单元用于获取分别表示语音信息和语音密码的字符串，第一比较子单元用于比较表示语音信息和表示语音密码的字符串是否相同，第一确定子单元用于在第一比较子单元比较出表示语音信息和表示语音密码的字符串相同的情况下，确定语音信息和语音密码相同。
[0132]还原单元24用于在第三判断单元23判断出语音信息与语音密码相同的情况下，将目标图像还原，得到人脸图像，其中，将目标图像还原主要是将语音信息片段从目标图像中清除，从而达到还原人脸图像的目的。由于将人脸图像与说话人关联起来，并且叠加至人脸图像中的是说话人说话过程中的语音文字图片，又由于语音密码本身变化的，人脸采集时间也是不定的，因而采集到的语音信息具有实时性和随机性，通过语音信息片段和人脸图像的关联，并通过上述一系列判断，实现了能够保证获取的人脸图像的真实有效，并且所拍摄的人脸图像和采集到的语音信息来自同一个人。
[0133]第三计算单元25用于计算语音信息和预设声纹模型之间的相似度，并计算人脸图像与预设人脸模型之间的相似度，在经过一系列判断后，确定出语音信息和人脸图像真实有效，并且均未被篡改的情况下，服务器20进行声纹识别和人脸识别来验证待识别用户是否通过认证。
[0134]第四判断单元26用于判断声纹相似度是否达到第一预设值，并判断人脸相似度是否达到第二预设值，其中，声纹相似度为计算出的语音信息和预设声纹模型之间的相似度，人脸相似度为计算出的人脸图像与预设人脸模型之间的相似度。
[0135]具体地，如果待识别用户通过客户端10选择了“一对一”比对方式，则服务器20根据待识别用户的标识信息，从预设数据库中查找出预设声纹模型和预设人脸模型，其中，在预设数据库中存储有多组声纹模型和人脸模型，每一组声纹模型和人脸模型均具有一个标识信息，如果先前步骤中确定了“一对一”比对方式，服务器20从预设数据库中查找出具有相同标识信息的一组声纹模型和人脸模型即可，并进行声纹相似度、人脸相似度的计算和判断。如果先前步骤中确定了“一对多”比对方式，则服务器20需要采用遍历查找的方式，依次计算和判断语音信息和人脸图形与每一组预设声纹模型和人脸模型之间的相似度。
[0136]第三发送单元27用于在第四判断单元26判断出声纹相似度达到第一预设值，并且人脸相似度达到第二预设值的情况下，发送第一认证响应和判断结果至客户端10，或在第四判断单元26判断出声纹相似度未达到第一预设值，并且人脸相似度未达到第二预设值的情况下，发送第二认证响应和判断结果至客户端10。其中，第一预设值和第二预设值均是根据算法评价指标和实际认证精度需要设置，二者可以相同，也可以不相同。
[0137]由于采用杂凑算法生成单向摘要，该摘要运算过程不可逆，且对任一因子的微小修改，都会导致摘要的完全不同。因此，通过客户端10对语音密码、语音信息、目标图像、关联信息和第一时刻进行摘要值计算，并通过服务器20采用同样的算法再次对语音密码、语音信息、目标图像、关联信息和第一时刻进行摘要值计算，然后比较二者是否相同，可以确保生物特征识别过程的完整性和安全可靠性。同时，在客户端10和服务器20计算出的摘要值相同的情况下，进一步对语音信息和人脸图像的有效性进行校验，实现了生物特征有效性校验，防止系统交互、网络通信过程中的数据篡改，既实现了多种生物特征的结合认证方式，实现了保证认证过程中数据的有效性、真实性和完整性，进一步提高了利用生物特征识别过程中，身份认证的安全性。
[0138]此外，在第四判断单元26判断出声纹相似度未达到第一预设值，并且人脸相似度达到第二预设值的情况下，第四判断单元26还用于判断声纹相似度是否达到第三预设值，其中，在第四判断单元26判断出声纹相似度达到第三预设值的情况下，第三发送单元还用于发送第一认证响应和判断结果至客户端10，或在第四判断单元26判断出声纹相似度未达到第三预设值的情况下，第三发送单元还用于发送第二认证响应和判断结果至客户端10，其中，第三预设值小于第一预设值。或在第四判断单元26判断出声纹相似度达到第一预设值，并且人脸相似度未达到第二预设值的情况下，第四判断单元26还用于判断人脸相似度是否达到第四预设值，其中，在第四判断单元26判断出人脸相似度达到第四预设值的情况下，第三发送单元还用于发送第一认证响应和判断结果至客户端10，或在第四判断单元26判断出人脸相似度未达到第四预设值的情况下，第三发送单元还用于发送第二认证响应和判断结果至客户端10，其中，第四预设值小于第二预设值。第三预设值和第四预设值同样均是根据算法评价指标和实际认证精度需要设置。[0139]S卩，在判断出声纹相似度和人脸相似度一个能够达到上限，一个达不到上限的情况下，进一步判断这个达不到上限的相似度是否低于相应的下限，若判断出不低于相应的下限，仍然确定通过认证。
[0140]优选地，服务器20还包括第四计算单元、第五判断单元和处理单元，在第一发送单元11发送认证内容至服务器20之后，并且在第一接收单元12接收来自服务器20的认证响应之前，第四计算单元用于计算第二时刻与第一时刻之间的时间间隔，其中，第二时刻为服务器20接收到认证内容的时间，第五判断单元用于判断时间间隔是否小于预设时长，处理单元用于在第五判断单元判断出时间间隔小于预设时长的情况下，对语音密码和认证内容进行处理，其中，预设时长为根据实际需要设定的时长。
[0141]如果从客户端10发起认证请求至发送认证内容之间的时间间隔越长，则传输至服务器20的数据被伪造和篡改的可能性越大，通过在判断出时间间隔小于预设时长的情况下，才对语音密码和认证内容进行处理，达到了降低数据被伪造和篡改的可能性，进一步提高认证的安全性。
[0142]进一步地，采集到的人脸图像包括至少两幅人脸图像，第一判断单元14主要包括计算子单元、判断子单元和第二确定子单元，计算子单元用于计算至少两幅人脸图像之间的相似度；判断子单元用于判断至少两幅人脸图像之间的相似度是否达到第五预设值；第二确定子单元用于在判断子单元判断出至少两幅人脸图像之间的相似度达到第五预设值的情况下，确定人脸图像有效。通过利用生物特征有效性判断方法判断语音、人脸等数据的可用性和真实性，实现了从源头上对数据的有效性进行判断和控制。
[0143]进一步地，在本发明实施例中，语音密码的格式为文本格式，语音信息和语音信息片段的格式均为音频格式，人脸图像的格式为图片格式，其中:
[0144]第一判断单元还包括:第二获取子单元、第二比较子单元和第三确定子单元，第二获取子单元用于获取分别表示语音信息和语音密码的字符串，第二比较子单元用于比较表示语音信息和表示语音密码的字符串是否相同，第三确定子单元用于在第二比较子单元比较出表示语音信息和表示语音密码的字符串相同的情况下，确定语音信息和语音密码相同；
[0145]关联单元包括:转换子单元和叠加子单元，其中，转换子单元用于将语音信息片段转换为语音文字图片，叠加子单元用于将语音文字图片叠加到人脸图像上。具体地，可以采用异或的方式进行图片叠加，图片叠加方法及具体步骤如下:
[0146]将人脸图像拍摄时间前后的语音信息片段按顺序生成单个图片，即形成语音文字图片，每个图片的规格相同，其中，将语音信息片段转换成图片的方式可以采用现有技术中任意一种进行音频转图片的方式，此处不再赘述。
[0147]将语音文字图片叠加到人脸图像中，采用异或的方法，即“语音文字图片⑩人脸图像表示异或运算；同时，记录每个语音文字图片在人脸图像中的叠加位置，并且叠加过程中每一个语音文字图片不重叠。
[0148]通过图片叠加方式，将语音信息与人脸图像进行关联，相当于对人脸图像加入了噪声，既是对人脸图像的破坏，又是对人脸图像的保护，并且叠加的是说话人当时的语音文字图片，具有实时性。
[0149]相应地，服务器20在进行人脸图像的还原时，同样采用异或的方法，具体还原过程及方法如下:根据每个语音文字图片在人脸图像中的叠加位置，将已经叠加了语音文字图片的目标图像与对应的语音文字图片做异或运算，相当于把人脸图像中对应位置的语音文字图片清除，达到了还原人脸图像的目的。
[0150]从以上的描述中，可以看出，本发明通过语音信息、人脸图像及语音密码的相互关联，实现生物特征有效性校验，防止系统交互、网络通信过程中的数据篡改，既实现了多种生物特征的认证方式，又实现了生物特征识别中数据的有效性、真实性及完整性。
[0151]进一步举例说明本发明实施例所提供的用户生物特征的认证方法和系统的工作原理，如图6所示，以客户端10和服务器20分布在手机上为例进行具体说明，其中，40为摄像头，30为补光灯，通过40与30可完成人脸图像的采集，50为麦克，通过50可以完成语音采集，在该实施例中，通过语音、声纹和人脸识别技术实现手机或Pad的本机登录及功能操作控制，进行用户生物特征认证的具体实现流程如下:
[:在声控模式下，用户发出语音指令，系统提取语音并进行语音识别，得到指令关键字；
[:如果指令对应的功能，不需要身份认证，则系统直接运行指令对应的功能；如果指令对应的功能需要进一步的身份认证，系统产生语音密码CN，用于后续的语音识别和声纹认证；
[:用户按照语音密码发声，系统开始获取语音，获取语音过程中，记录开始计时(TMl)和结束时间(TM2)；
[:获取语音过程中，拍摄人脸图像，同时，获取时间戳(TM)，并将时间戳形成图片，叠加到人脸图像中，叠加方法可采用“异或”的方法；该人脸图像可用于后续的人脸识另IJ，也可用于历史记录进行保存；
[:进行语音识别，得到语音信息VN，判断语音信息VN与语音密码CN的一致性，如果一致，则继续下一步的声纹认证，否则，提示本次语音识别失败；
[:进行声纹认证时，将本次语音特征与设备内预留的声纹模型进行比对，得到比对结果；
[:进行人脸认证时，首先，将人脸图像中的时间戳清除，还原人脸图像，判断TM是否在TMl和TM2中间，如果在其中，则将本次人脸特征与设备内预留的人脸模型进行比对，得到比对结果；
[:判断声纹比对结果和人脸比对证结果，其中，只要声纹或人脸中的一种比对结果满足阈值要求，就判定通过了身份认证，如果二者的比对结果有一个不满足要求，则再做进一步比对判断，具体比对判断方式与上述进行声纹比对和人脸比对判断方式相同，此处不再赘述；
[:如果通过了身份认证，则系统执行指令对应的功能。
[0161]显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。[0162]以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.一种用户生物特征的认证方法，其特征在于，包括:
客户端发送认证请求至服务器；
所述客户端接收来自所述服务器的语音密码；
所述客户端采集待认证用户的语音信息，并在采集所述语音信息过程中采集所述待认证用户的人脸图像；
所述客户端判断所述语音信息与所述语音密码是否相同，并判断所述人脸图像是否有效；
所述客户端在判断出所述语音信息与所述语音密码相同，并且所述人脸图像有效的情况下，将语音信息片段关联至所述人脸图像，其中，所述语音信息片段为第一时间内采集到的部分语音信息，所述第一时间包括第二时间，所述第二时间为所述人脸图像的采集时间；
所述客户端采用预设算法计算所述语音密码、所述语音信息、目标图像、所述目标图像与所述语音信息片段之间的关联信息和第一时刻的摘要值，得到第一摘要值，其中，所述目标图像为关联所述语音信息片段的所述人脸图像，所述第一时刻为所述服务器接收到所述认证请求的时间；
所述客户端发送认证内容至所述服务器，其中，所述认证内容包括所述语音信息、所述目标图像、所述关联信息和所述第一摘要值；以及
所述客户端接收来自所述服务器的认证响应，其中，所述认证响应为所述服务器对所述语音密码和所述认证内容的处理结果。
2.根据权利要求1所述的认证方法，其特征在于，所述认证响应包括第一认证响应和第二认证响应，其中，在所述客户端发送认证内容至所述服务器之后，并且在所述客户端接收来自所述服务器的认证响应之前，所述认证方法还包括:
所述服务器采用所述预设算法再次计算所述语音密码、所述语音信息、所述目标图像、所述关联信息和所述第一时刻的摘要值，得到第二摘要值；
所述服务器判断所述第一摘要值和所述第二摘要值是否相同；
所述服务器在判断出所述第一摘要值和所述第二摘要值相同的情况下，判断所述语音信息与所述语音密码是否相同；
所述服务器在判断出所述语音信息与所述语音密码相同的情况下，将所述目标图像还原，得到所述人脸图像；
所述服务器计算所述语音信息和预设声纹模型之间的相似度，并计算所述人脸图像与预设人脸模型之间的相似度；
所述服务器判断声纹相似度是否达到第一预设值，并判断人脸相似度是否达到第二预设值，其中，所述声纹相似度为计算出的所述语音信息和所述预设声纹模型之间的相似度，所述人脸相似度为计算出的所述人脸图像与所述预设人脸模型之间的相似度；
所述服务器在判断出所述声纹相似度达到所述第一预设值，并且所述人脸相似度达到所述第二预设值的情况下，发送所述第一认证响应和判断结果至所述客户端，或判断出所述声纹相似度未达到所述第一预设值，并且所述人脸相似度未达到所述第二预设值的情况下，发送所述第二认证响应和判断结果至所述客户端，其中，所述第一认证响应表示所述待认证用户通过认证，所述第二认证响应表示所述待认证用户未通过认证。
3.根据权利要求2所述的认证方法，其特征在于，所述认证方法还包括:
在判断出所述声纹相似度未达到所述第一预设值，并且所述人脸相似度达到所述第二预设值的情况下，所述服务器判断所述声纹相似度是否达到第三预设值，其中，所述服务器在判断出所述声纹相似度达到所述第三预设值的情况下，发送所述第一认证响应和判断结果至所述客户端，或在判断出所述声纹相似度未达到所述第三预设值的情况下，发送所述第二认证响应和判断结果至所述客户端，其中，所述第三预设值小于所述第一预设值；
或在判断出所述声纹相似度达到所述第一预设值，并且所述人脸相似度未达到所述第二预设值的情况下，所述服务器判断所述人脸相似度是否达到第四预设值，其中，所述服务器在判断出所述人脸相似度达到所述第四预设值的情况下，发送所述第一认证响应和判断结果至所述客户端，或在判断出所述人脸相似度未达到所述第四预设值的情况下，发送所述第二认证响应和判断结果至所述客户端，其中，所述第四预设值小于所述第二预设值。
4.根据权利要求2所述的认证方法，其特征在于，所述服务器判断所述语音信息与所述语音密码是否相同包括:
所述服务器获取分别表示所述语音信息和所述语音密码的字符串；
所述服务器比较表示所述语音信息和表示所述语音密码的字符串是否相同；以及
所述服务器在比较出表示所述语音信息和表示所述语音密码的字符串相同的情况下，确定所述语音信息和所述语音密码相同。
5.根据权利要求1所述的认证方法，其特征在于，在所述客户端发送认证内容至所述服务器之后，并且在所述客户端接收来自所述服务器的认证响应之前，所述认证方法还包括:
所述服务器计算第二时刻与所述第一时刻之间的时间间隔，其中，所述第二时刻为所述服务器接收到所述认证内容的时间；
所述服务器判断所述时间间隔是否小于预设时长；以及
所述服务器在判断出所述时间间隔小于所述预设时长的情况下，对所述语音密码和所述认证内容进行处理。
6.根据权利要求1所述的认证方法，其特征在于，在所述客户端接收来自所述服务器的语音密码之后，所述认证方法还包括:
所述客户端监测所述待认证用户的嘴部区域，
其中，所述客户端在监测出所述嘴部区域发生变化的情况下，采集所述语音信息，并在采集所述语音信息过程中采集所述人脸图像。
7.根据权利要求1所述的认证方法，其特征在于，所述人脸图像包括至少两幅人脸图像，所述客户端判断所述人脸图像是否有效包括:
所述客户端计算所述至少两幅人脸图像之间的相似度；
所述客户端判断所述至少两幅人脸图像之间的相似度是否达到第五预设值；以及
所述客户端在判断出所述至少两幅人脸图像之间的相似度达到所述第五预设值的情况下，确定所述人脸图像有效。
8.根据权利要求1所述的认证方法，其特征在于，所述语音密码的格式为文本格式，所述语音信息和所述语音信息片段的格式均为音频格式，所述人脸图像的格式为图片格式，其中:所述客户端判断所述语音信息与所述语音密码是否相同包括:所述客户端获取分别表示所述语音信息和所述语音密码的字符串，并比较表示所述语音信息和表示所述语音密码的字符串是否相同，以及在比较出表示所述语音信息和表示所述语音密码的字符串相同的情况下，确定所述语音信息和所述语音密码相同；
所述客户端在判断出所述语音信息与所述语音密码相同，并且所述人脸图像有效的情况下，将语音信息片段关联至所述人脸图像包括:所述客户端将所述语音信息片段转换为语音文字图片，并将所述语音文字图片叠加到所述人脸图像上。
9.一种用户生物特征的认证系统，其特征在于，包括客户端和服务器，其中，所述客户端包括:
第一发送单元，用于发送认证请求至所述服务器；
第一接收单元，用于接收来自所述服务器的语音密码；
采集单元，用于采集待认证用户的语音信息，并在采集所述语音信息过程中采集所述待认证用户的人脸图像；
第一判断单元，用于判断所述语音信息与所述语音密码是否相同，并判断所述人脸图像是否有效；
关联单元，用于在判断出所述语音信息与所述语音密码相同，并且所述人脸图像有效的情况下，将语音信息片段关联至所述人脸图像，其中，所述语音信息片段为第一时间内采集到的部分语音信息，所述第一时间包括第二时间，所述第二时间为所述人脸图像的采集时间；
第一计算单元，用于采用预设算法计算所述语音密码、所述语音信息、目标图像、所述目标图像与所述语音信息片段之间的关联信息和第一时刻的摘要值，得到第一摘要值，其中，所述目标图像为关联所述语音信息片段的所述人脸图像，所述第一时刻为所述服务器接收到所述认证请求的时间；
第二发送单元，用于发送认证内容至所述服务器，其中，所述认证内容包括所述语音信息、所述目标图像、所述关联信息和所述第一摘要值；以及
第二接收单元，用于接收来自所述服务器的认证响应，其中，所述认证响应为所述服务器对所述语音密码和所述认证内容的处理结果。
10.根据权利要求9所述的认证系统，其特征在于，所述认证响应包括第一认证响应和第二认证响应，所述服务器包括:
第二计算单元，用于采用所述预设算法再次计算所述语音密码、所述语音信息、所述目标图像、所述关联信息和所述第一时刻的摘要值，得到第二摘要值；
第二判断单元，用于判断所述第一摘要值和所述第二摘要值是否相同；
第三判断单元，用于在所述第二判断单元判断出所述第一摘要值和所述第二摘要值相同的情况下，判断所述语音信息与所述语音密码是否相同；
还原单元，用于在所述第三判断单元判断出所述语音信息与所述语音密码相同的情况下，将所述目标图像还原，得到所述人脸图像；
第三计算单元，用于计算所述语音信息和预设声纹模型之间的相似度，并计算所述人脸图像与预设人脸模型之间的相似度；
第四判断单元，用于判断声纹相似度是否达到第一预设值，并判断人脸相似度是否达到第二预设值，其中，所述声纹相似度为计算出的所述语音信息和所述预设声纹模型之间的相似度，所述人脸相似度为计算出的所述人脸图像与所述预设人脸模型之间的相似度；
第三发送单元，用于在所述第四判断单元判断出所述声纹相似度达到所述第一预设值，并且所述人脸相似度达到所述第二预设值的情况下，发送所述第一认证响应和判断结果至所述客户端，或在所述第四判断单元判断出所述声纹相似度未达到所述第一预设值，并且所述人脸相似度未达到所述第二预设值的情况下，发送所述第二认证响应和判断结果至所述客户端，其中，所述第一认证响应表示所述待认证用户通过认证，所述第二认证响应表示所述待认证用户未通过认证。
11.根据权利要求10所述的认证系统，其特征在于:
在所述第四判断单元判断出所述声纹相似度未达到所述第一预设值，并且所述人脸相似度达到所述第二预设值的情况下，所述第四判断单元还用于判断所述声纹相似度是否达到第三预设值，其中，在所述第四判断单元判断出所述声纹相似度达到所述第三预设值的情况下，所述第三发送单元还用于发送所述第一认证响应和判断结果至所述客户端，或在所述第四判断单元判断出所述声纹相似度未达到所述第三预设值的情况下，所述第三发送单元还用于发送所述第二认证响应和判断结果至所述客户端，其中，所述第三预设值小于所述第一预设值 ；
或在所述第四判断单元判断出所述声纹相似度达到所述第一预设值，并且所述人脸相似度未达到所述第二预设值的情况下，所述第四判断单元还用于判断所述人脸相似度是否达到第四预设值，其中，在所述第四判断单元判断出所述人脸相似度达到所述第四预设值的情况下，所述第三发送单元还用于发送所述第一认证响应和判断结果至所述客户端，或在所述第四判断单元判断出所述人脸相似度未达到所述第四预设值的情况下，所述第三发送单元还用于发送所述第二认证响应和判断结果至所述客户端，其中，所述第四预设值小于所述第二预设值。
12.根据权利要求10所述的认证系统，其特征在于，所述第三判断单元包括:
第一获取子单元，用于获取分别表示所述语音信息和所述语音密码的字符串；
第一比较子单元，用于比较表示所述语音信息和表示所述语音密码的字符串是否相同；以及
第一确定子单元，用于在所述第一比较子单元比较出表示所述语音信息和表示所述语音密码的字符串相同的情况下，确定所述语音信息和所述语音密码相同。
13.根据权利要求9所述的认证系统，其特征在于，所述服务器还包括:
第四计算单元，用于计算第二时刻与所述第一时刻之间的时间间隔，其中，所述第二时刻为所述服务器接收到所述认证内容的时间；
第五判断单元，用于判断所述时间间隔是否小于预设时长；以及
处理单元，用于在所述第五判断单元判断出所述时间间隔小于所述预设时长的情况下，对所述语音密码和所述认证内容进行处理。
14.根据权利要求9所述的认证系统，其特征在于，所述客户端还包括:
监测单元，用于监测所述待认证用户的嘴部区域，
其中，在所述监测单元监测出所述嘴部区域发生变化的情况下，所述采集单元采集所述语音信息，并在采集所述语音信息过程中采集所述人脸图像。
15.根据权利要求9所述的认证系统，其特征在于，所述人脸图像包括至少两幅人脸图像，所述第一判断单元包括:
计算子单元，用于计算所述至少两幅人脸图像之间的相似度；
判断子单元，用于判断所述至少两幅人脸图像之间的相似度是否达到第五预设值；以及
第二确定子单元，用于在所述判断子单元判断出所述至少两幅人脸图像之间的相似度达到所述第五预设值的情况下，确定所述人脸图像有效。
16.根据权利要求9所述的认证系统，其特征在于，所述语音密码的格式为文本格式，所述语音信息和所述语音信息片段的格式均为音频格式，所述人脸图像的格式为图片格式，其中:
所述第一判断单元还包括:第二获取子单元、第二比较子单元和第三确定子单元，其中，所述第二获取子单元用于获取分别表示所述语音信息和所述语音密码的字符串，所述第二比较子单元用于比较表示所述语音信息和表示所述语音密码的字符串是否相同，所述第三确定子单元用于在所述第二比较子单元比较出表示所述语音信息和表示所述语音密码的字符串相同的情况下，确定所述语音信息和所述语音密码相同；
所述关联单元包括:转换子单元和叠加子单元，其中，所述转换子单元用于将所述语音信息片段转换为语音文字图片，所述叠加子单元用于将所述语音文字图片叠加到所述人脸图像上。
【文档编号】H04L29/06GKSQ
【公开日】日
申请日期:日
优先权日:日
【发明者】杨春林, 周军, 于福水, 单成坤
申请人:北京天诚盛业科技有限公司}