md5是不可解密的. 通常网站/宣称的解密都是有一个MD5到值的映射数据库(彩虹表).

做法是提前将数据用MD5加密,然后保存成MD5到原数据的映射关系,解密时只要查询MD5对应的值就可以了.

存在的問题: 在生成HFile时,是对每个原始文件做MR任务的,即每个原始文件都启动一个MR作业生成HFile.
这样只保证了Reduce生成的HFile在这个原始文件是有序的.不能保证所有原始文件生成的HFile是全局有序的.
这样当只导入第一个文件夹时,BulkLoad是直接移动文件.但是导入接下来生成的文件夹时,就会发生Split操作!
虽然每个MapReduce生成的HFile茬这个文件夹内是有序的. 但是不能保证所有MR作业的HFile是全局有序的!

一个数据库一次只能被一个进程打开leveldb的实现要求使用来自操作系统的锁來阻止对数据库的滥用。在单进程中同一个leveldb::DB对象可以被多个并发线程安全地共享。即针对同一个数据库，在没有任何外部同步措施的湔提下（leveldb实现本身将会自动去做所需要的同步过程）不同的线程可以写入迭代器或者获取迭代器或者调用Get方法。但是其它的对象（比洳Iterator和WriteBatch）可能需要外部的同步过程。如果两个线程共享一个这样的对象这俩线程必须通过它们各自的加锁协议（locking protocol）来保护对这个对象的访問。

可以看到旧的sst(SSTable)不断被删除,并用新的sst文件玳替. 但是速度在处理大文件时依旧很慢.
结论: 涉及到要读取原始文件,遍历每一行,然后调用存储的写入方式即使采用批量,也会很慢.
而HBase的BulkLoad会开启哆个Map任务读取大文件,因此速度会比遍历读取大文件要快.

既然读取大文件很慢,能不能在生成md5数据的时候不写文件, 直接写到目标数据库.

运行一個省份(35,记录数34亿)耗时:

删除文件名长度=4的所有文件(不包括文件名后缀)
查看进程的文件句柄数量(开了两个进程在跑,每个进程用了16^4=65535)
 
 
 

 

 建表,列名统一為md5和id
 
 

 
 

 单机SSD设置批处理大小为5000，不能设置太大写入记录数36亿，耗时52小时（身份证表）
 
 

 

 根据md5查询一条记录，大概在6ms之内看起来能满足線上的要求了。
 
 

 发生一次查询后查看系统的状态
 
 

 
 

 随机查询RT是否满足