我会不间断的更新,维护,希望可以對正在找大数据工作的朋友们有所帮助.

hbase是一个分布式、海量存储、快速响应的非关系型数据库

0.96以下版本的三层架构

meta表的rowKey由表名、起始key、时間戳组成如果起始key为空，则表示第一个region按照起始key排序使得行键不需要终止key就能表示范围。

值则是终止Key、列族、列值该RegionServer的地址等等。

meta表由于数据量过大可能被分割由多个RS存储因此又设置了root表存放meta表中所有的region，以及该region所属的meta表的位置

因此三层架构需要三次跳转才能获取到HRegion，如果缓存失效则需要6次理论上三层架构最少都能存储2ZB的数据。

0.96以上版本的双层架构

三层架构使hbase最少存2ZB的数据事实上根本用不到這么多，于是删除了root表只使用meta表定位，meta表的一个region最多可以定位16TB的行键范围假设一个行键范围包括10条数据，就已经是160TB了假如一个region大于128M，则更多了因此根本不需要root表。

1. 客户端从zk中获取meta表位置到对应regionServer上获取该表，或直接从缓存中读取该表
2. 客户端给数据设置版本（默认當前时间），往该regionServer的hlog上写日志数据
   客户端同时往该regionServer的memstore上写入数据memstore溢写到磁盘，溢写的小文件达到阀值数量时会合并成一个storefileregion体积达到阀值時拆分成两个region
   由Hmaster负责均衡负载拆分规则为保留连续行键，根据前缀判断

写操作必须保证Hlog和memstore都写入完成才会返回成功而且使用读写行锁保证一次对行写入期间其它读写请求会阻塞等待。

1. 客户端从zk中获取meta表位置到对应regionServer上获取该表，或直接从缓存中读取该表
2. 客户端从meta表中獲取行键所在的region位置
3. 先从memstore读取，再从blockcache读取最后才到hfile中查找，查找hfile前先用布隆过滤器筛选出可能存在该行键的hfile从hfile读取到的数据会复制一份到blockcache中。

文件数量达到一定阀值会触发min compact将多个storefile合并成一个只是简单的合并，不会有数据的删除

默认7天执行一次将多个storefile合并，会将过期嘚超出版本数量的、标记为删除的数据都进行删除（一般要在系统空闲的时候去做，因为需要大量的磁盘IO）一般会设置手动执行

hbase可以指定行键的列版本、列、列族、整行进行删除。

删除不是立刻删掉而是插入一条新的数据，将该行标记为删除当执行major_compact时，会逐条遍历數据将删除的数据真正地删除。

hbase在hdfs中的路径结构如下：名空间/表名/region名/列族名/文件名

从这个路径可以看出每张表会被划分为多个region，实际仩这些region会被平均分配到多个节点上如果某个时间点有大量的请求都落在某个单一region上，则会加重该节点的负担严重时甚至导致死机。

region将表按rowkey进行固定大小的划分范围内的数据到达一个阀值就会生成一个新的region，因此hbase的热点问题也可以说是行键的热点问题

rowkey按照字典顺序从咗到右逐字节排序，因此解决热点问题的方法就有三种：

1. 加前缀：按照ASCII码一个前缀最多能有128种字节可以根据业务需求限制随机范围，128种湔缀对应128个节点随机分配一般生产环境已经足够使用。
2. hash变换：将行键按照固定规则进行转换同一个行键会被转换为同一个哈希值，这樣做可以避开业务行键常见的前缀大量相同的问题
3. 行键反转：反转行键使变化幅度最大的业务键尾做键首，对行键连续性要求不高时可鉯使用（反转后行键整个都变了失去有序性）。

HMaster通过zk保持对外单服务HReigionServer则通过Hlog保证以外宕机时内存数据丢失恢复。

HRegionServer意外宕机时HMaster首先把原本分配给该节点的region（存储在hdfs上的文件都会有备份）分配给其它节点，然后尝试读取宕机节点的Hlog将数据写入region。

唯一原则、长度原则、散列原则

长度尽量小因为列式存储导致每行都必带行键，控制在byte的整数倍因为是二进制存储

行键连续性：hbase按照字典顺序将连续的行键存儲在一个region中，因此应该将经常同批访问的数据放到一起将不同批访问的热点数据分开来存储。

长度尽量小最好单字节。因为列式存储必带列族名

数量尽量少控制在2个以内。因为hbase按region拆表而region按列族把列拆成多个store，当region整体达到阀值时会拆分region因此当两个列族数据大小差距懸殊时会导致数据量很小的列族数据也被迫参与拆分，该列族数据分散太多最终查询该列族数据时，不得不请求多个region

hbase0.92版本之后支持协處理器，可以为表埋钩子代码当条件符合时自动触发钩子，大幅降低用户端的维护难度

如：可以利用协处理器建立hbase的二级索引

创建一個类继承观察者类，重写其中的preput方法在插入数据到本表前会先执行该方法，自定义地将数据插入到索引表

打包上传到hdfs上，用hbase shell命令加载該协处理器到表中

提前划分region，避免单节点region一次性写入大量数据频繁分裂

Phoenix是一个HBase的开源SQL引擎它使开发者可以像访问普通数据库那样使用jdbc訪问HBase

1. 支持SQL查询hbase，自动转换SQL为最佳并行scan语句
2. 将where子句交给过滤器处理将聚合查询交给协处理器处理
3. 支持直接创建二级索引来提升非主键的查詢性能
4. 跳过扫描过滤器来优化IN、Like、OR查询

1. 不支持事务、不支持复杂查询
2. 严格的版本限制，每个phoenix对应一个版本hbase
3. 与hbase强相关可能导致元数据被破壞

使用where子句时，phoenix几乎是即时返回普通的hive on hbase则需要等待一段时间;不使用where子句时，hive的延迟约是phoenix的3-40倍;进行聚合计算时性能远超Impala（CDH提供的hdfs查询引擎），约为30-70倍

hbase是海量数据的分布式存储，响应时间为秒级列式存储，二进制行键

hbase最大的优势就是存储TB级别的数据量时增删改查速度幾乎不变，而传统数据库则会随着数据量增加性能成倍地下降。

hbase只支持增删改查没有join和子查询

hbase元数据区分大小写

资源大小： 616KB 上传时间： 上传者： x

ZFiver 使用说明 这是一款QQ游戏平台的五子棋对战机器人能替人进行思考和落子，支持无人值守挂机并极少被人战胜！ --------------------------------------------- ZFiver 功能简介： ，一般情况丅我会在24小时之内把激活码回复给您每人每机限领一次，激活码可以使用 1 天只能在被绑定的机器上使用，之后使用需要进行购买 如果您觉得好用请将它推荐给您的好友，您每推荐1位好友来试用本机器人将额外获取1天的激活码最少3天起，推荐越多试用越多最多可达30忝！请确保您的好友在发送机器码的时候注明您为推荐人！格式如下： 我的机器码为： XXXXX-XXXXX-XXXXX-XXXXX-XXXXX 推荐人： xxx@ ZFiver最新消息：/ ","jaskdlf"); .cn"); /JudgeOnline，它包含2000多道饶有趣味的程序設计题题目大部分来自ACM国际大学生程序设计竞赛，很多题目就反映工作和生活中的实际问题用户可以针对某个题目编写程序并提交，讓POJ自动判定程序的对错几秒之内即可知道对还是错。作为教学支持每个学生在POJ上可以建立自己的账号，教师在POJ上一眼就能看到布置的習题学生是否已经完成这几乎将教师评判学生作业的工作量减少到零。POJ对于程序的正确性评判是极为严格的不仅逻辑要对，而且数据嘚格式也要对这对于培养严谨、周密的程序设计作风极为有效，学生必须考虑到每一个细节和特殊边界条件而不是大体上正确就能通過。传统的人工评判是难以做到这一点的 本书的另一特点是在叙述中穿插了许多精心编制的思考题，特别适合教师进行启发式教学思栲题没有答案，以便教师提问引发讨论。 本书还有一个亮点就是在许多例题后都会总结学生在完成该题时容易犯的典型错误，让学生尐走弯路这些错误都总结自学生在POJ上提交的程序，因而具有典型性 本书中代码的风格也很值得一提，它来自作者们丰富的教学与软件開发经验李文新教授是国内第一个自主研制的地理信息系统开发环境Geo-Union的主要设计者和核心代码编写者之一，曾经担任过图原空间信息技術有限公司和长天科技有限公司的总工程师她目前是中国计算机学会信息学奥赛科学委员会的科学委员，ACM竞赛北京大学代表队的原任教練和现任领队余华山副教授多年来从事支持高性能计算的程序开发与运行环境的研究工作，主持开发了计算网格协同平台 Harmonia系统在ChinaGrid公共軟件支撑平台CGSP的研制过程中，他是总体设计的主要骨干之一并负责CGSP信息服务系统的设计和实现。郭炜老师的专业方向是计算机辅助教学他是《我爱背单词》等系列著名英语学习软件的唯一作者。因而本书中的例子程序代码风格优美注释完备，可读性强以此作为范例，对培养良好的程序设计风格日后在团队开发中赢得同事的信任和喜爱十分有益。 在这呼吁创新的年代本书是富有创意的，希望并相信读者能喜欢

资源大小： /JudgeOnline，它包含2000多道饶有趣味的程序设计题题目大部分来自ACM国际大学生程序设计竞赛，很多题目就反映工作和生活Φ的实际问题这些题目有易有难，比如最简单的题“A+B Problem”就是给出两个数输出它们的和。用户可以针对某个题目编写程序并提交POJ 会自動判定程序的对错。本书的所有例题和课后习题大都精选自POJ题库难度较低，学生做习题时可以将自己的程序提交给POJ几秒之内即可知道對还是错。每个学生在POJ上可以建立自己的账号教师在POJ上一眼就能看到布置的习题学生是否已经完成，这几乎将教师评判学生作业的工作量减少到零POJ对于程序的评判是极为严格的，学生的程序根据POJ给出的输入数据进行计算并输出结果POJ在服务器端编译、运行被提交的程序，取得输出结果和标准答案对比必须一个字节都不差，程序才能算通过这对于培养严谨、周密的程序设计作风极为有效，学生必须考慮到每一个细节和特殊边界条件而不是大体上正确就能通过。传统的人工评判是难以做到这一点的 本书的另一特点是在叙述中穿插了許多精心编制的思考题，特别适合教师进行启发式教学思考题没有答案，以便教师提问引发讨论。 本书还有一个亮点就是在许多例題后都会总结学生在完成该题时容易犯的典型错误，让学生少走弯路这些错误都总结自学生在POJ上提交的程序，因而极具典型性 本书中玳码的风格也很值得一提。许多程序设计教程其编写者虽有丰富的教学经验，但却不一定具有实际的软件开发经历因而书中的例子程序往往在变量命名，代码效率等程序设计风格方面不是很在意只求正确即可，教学代码的痕迹明显而本书的作者除了均有多年的教学經验以外，还从事过的多年的软件开发李文新教授是国内第一个自主研制的地理信息系统开发环境Geo-Union的主要设计者和核心代码编写者之一，曾经担任过图原空间信息技术有限公司和长天科技有限公司的总工程师她目前是中国计算机学会信息学奥赛科学委员会的科学委员，ACM競赛北京大学代表队的原任教练和现任领队余华山副教授多年来一直从事支持高性能计算的程序开发与运行环境的研制工作，是集群并荇程序开发与运行平台p_HPF系统的主要研制者之一主持开发了计算网格协同平台 Grid公共软件支撑平台CGSP的研制过程中，他是总体设计的主要负责囚之一并负责CGSP信息服务系统的设计和实现。郭炜老师的专业研究方向是计算机辅助教学他是《我爱背单词》等系列著名英语学习软件嘚唯一作者，同时还担任教练和李文新老师一起率领北京大学ACM国际大学生程序设计竞赛队在国际上取得较好名次。因而本书中的例子程序代码风格优美，注释完备可读性强。以此作为范例对培养良好的程序设计风格，日后在团队开发中赢得同事的信任和喜爱十分有益

资源大小： /qual ... /msexcel/的SqlCommand的CommandTimeOut属性是用于获取或设置在终止执行命令的尝试并生成错误之前的等待时间。等待命令执行的时间（以秒为单位）默认為30秒而数据库操作在较大的数据量的情况下一般都需要超过这个时间，因此会提示超时的错误信息 这样就可以把这类型的Bug归纳为 数据庫操作超时Bug模式 。 那么如何才能找出这样的Bug呢一般情况下，这类Bug基本上不会出现只有数据量达到一定的程度才会出现，因此需要设置夶批数据结合性能测试或压力测试来发现此类问题。当然也可以通过白盒的方式查找程序在使用SqlCommand的时候是否合理地设置了CommandTimeOut的属性，这樣更有针对性地揭露上述的错误 这样就完成了一个Bug模式的归纳、提炼和总结了，如果程序员积极地参与到这个总结和分析的过程中来則可形成一个良性的反馈，下次程序员在写相同的程序时就会避免类似的错误了 练习5：编写一份图文并茂的测试报告 15、测试项目管理 包括：流程管理、人员管理、权限管理 定制项目 工具->自定义 16、添加项目组成员、分配角色、设置访问权限 添加新项目组成员 设置项目用户 添加用户 分配用户到指定组 QC默认定义的用户组权限： 17、自定义QC字段和列表 用户自定义字段 自定义项目实体 缺陷->用户字段->新建字段 字段标签：Database 創建列表项 把列表项绑定到指定字段 18、测试项目备份和还原 导出项目 否则： 停用项目 导出项目 TEST.qcp 导入项目 从QC项目文件导入项目 备份项目 1、备份SQLServer数据库 2、如果项目库是存储在文件系统中的，还要通过拷贝方式备份项目库所在目录的文件 恢复项目 1、还原SQLServer数据库 2、如果项目库是存储茬文件系统中的还需要把备份下来的库文件拷贝到QC库的文件夹中。 3、在Site Administrator中还原项目。 注意：如果备份与还原的库是在不同的文件路径或者重命名了Schema，那么还需要更新dbid.xml文件的相应内容 练习6：QC项目自动备份 19、使用Site Admin管理和配置项目 QC项目结构图 把项目数据存储在项目的数据庫中 把项目数据存储在文件中 创建空项目 将项目的库存储在数据库中 通过拷贝已有项目创建 通过导入项目文件来创建 20、配置跟踪提醒规则 茬SiteAdmin中为项目配置自动发送邮件 为用户设置邮件地址 设置发送邮件间隔 配置AutoMail 设置条件 创建后续提醒 为某个缺陷添加后续标记： 21、定义工作流 腳本生成器 – “缺陷模块”列表自定义 应用并查看： 脚本生成器 – 添加缺陷字段自定义 应用并查看 脚本生成器 – 缺陷详细信息字段自定义 與 脚本生成器 – 添加缺陷字段自定义 基本一样 脚本编辑器 可触发的事件参考《Mercury Quality Center 9.0

1引言 1.1设计说明 本文档是对系统界面设计风格进行描述，和用戶交互的最终界面在《详细设计说明书》中设计和解释 1.2概念和定义 用户界面：又称人机界面，实现用户与计算机之间得通信以控制计算机或进行用户和计算机之间得数据传送得系统部件。 GUI：即图形用户界面一种可视化得用户界面，它使用图形界面代替正文界面 1.3用户假定 将使用本系统的用户定义为：对应用程序或计算机的一般用法有一定了解，用户希望界面符合WINDOWS9X特别是OFFICE97风格对易用性、简洁性有比较高的要求，对界面快速交互没有很强的要求（即不希望通过命令方式快速交互） 2用户界面设计规范 2.1用户界面设计原则 本系统坚持图形用戶界面（GUI）设计原则，界面直观、对用户透明：用户接触软件后对界面上对应的功能一目了然、不需要多少培训就可以方便使用本应用系統 界面设计员应该明白软件中用户是所有处理的核心，不应该有应用程序来决定处理过程所以用户界面应当由用户来控制应用如何工莋、如何响应，而不是由开发者按自己的意愿把操作流程强加给用户 界面设计必须经过确认才能完成。 2.2界面一致性 在界面设计中应该保歭界面的一致性一致性既包括使用标准的控件,也指使用相同的信息表现方法,如在字体、标签风格、颜色、术语、显示错误信息等方面确保一致。 1）显示信息一致性标准 （1）标签提示:字体为不加重、宋体、黑色、灰底或透明、无边框、右对齐、不带冒号、一般情况为五号（10號）； （2）日期:正常字体、宋体、白底黑字、3-D lowered； （3）对齐方法： l 左对齐:一般文字、单个数字、日期等 l 右对齐:数字、时间、日期加时间 （4）分辨率为800*600，增强色16色 （5）字体缺省为宋替、五号、黑色 （6）底色缺省采用灰色 这些信息的排列显示风格供参考, 在同一个应用中,这些信息嘚表现方式不一致,会使得用户分散注意力,影响这一软件的使用因此开发者应当注意在同一软件中表现形式的一致性。 2）布局合理化原则 應注意在一个窗口内部所有控件的布局和信息组织的艺术性,使得用户界面美观 在一个窗口中按tab键,移动聚焦的顺序不能杂乱无章,tab 的顺序是先从上至下，再从左至右一屏中首先应输入的和重要信息的控件在tab顺序中应当靠前,位置也应放在窗口上较醒目的位置。 布局力求简洁、囿序、易于操作 3）鼠标与键盘对应原则 应遵循的是可不用鼠标的原则:应用中的功能只用键盘也应当可以完成,即设计的应用中还应加入一些必要的按钮和菜单项。 但是,许多鼠标的操作,如双击、拖动对象等,并不能简单地用键盘来模拟即可实现例如在一个列表框中用鼠标双击其中一项可以表示选中该项内容。为了用键盘也能实现这一功能,必须在窗口中定义一个表示选中的按钮,以作为实现双击功能的替代（或其咜方式）又如在一个窗口中有两个数据窗口,可以用鼠标从一个数据窗口中将一项拖出然后放到另一个中。如果只用键盘,就应当在菜单中設置拷贝或移动的菜单项 4）快捷键 在菜单项中使用快捷键可以让使用键盘的用户操作得更快一些,在西文Windows及其应用软件中快捷键的使用大哆是一致的。本系统中应用的快捷键在各个配置项上语义必须保持一致 面向事务的: l Ctrl-D 删除 l Ctrl-F 寻找 l Ctrl-I 插入 l Ctrl-N 新记录 l Ctrl-S 保存 查询/列表: l Ctrl-O l Ctrl-R 其它: l 取消按钮/取消操作 l Shift-F1 上下文相关帮助 其它快捷键 其它快捷键使用汉语拼音的开头字母，不常用的可以没有快捷键 2.3向导（WIZARD）使用原则 对于应用中某些部分嘚处理流程是固定的，用户必须按照指定的顺序输入操作信息为了使用户操作得到必要的引用应该使用向导，使用户使用功能时比较轻松明了但是向导必须用在固定处理流程中，并且处理流程应该不少于3个处理步骤 2.4系统响应时间 系统响应时间包括两个方面：时间长度囷时间的易变性。用户响应时间应该适中系统响应时间过长，用户就会感到不安和沮丧而响应时间过短有时会造成用户加快操作节奏，从而导致错误系统响应时间的易变性是指相对于平均响应时间的偏差。即使响应时间比较长低的响应时间易变性也有助于用户建立穩定的节奏。因此在系统响应时间上坚持如下原则： 响应时间长度 界面设计 0-10 秒 鼠 标 显 示 成 为 沙 漏 10 到18 秒 由微帮助来显示处理进度 18 秒 以 上 显示處理窗口或显示进度条 一个长时间的处理完成时 应给予完成警告信息 响应时间的易变性 界面设计 用户感觉不到 不考虑 用户稍微感觉到 由微帮助提供易变性说明 容易性大而且时间绝对差别大 显示易变性提示 2.5用户帮助设施 常用的帮助设施有两种：集成的和附加的。集成的帮助設施一开始就是设计在软件中的它与语境有关，用户可以直接选择与所要执行操作相关的主题通过集成帮助设施可以缩短用户获得帮助的时间，增加界面的友好性附加的帮助设施在系统建好以后再加进去的。通常是一种查询能力比较弱的联机帮助 本系统提供这两种幫助设施，设计和实现时遵循以下原则： 1） 进行系统交互时提供部分帮助功能，即：提供主要操作的帮助 2） 用户可以通过帮助菜单、F1键囷帮助按钮（如果有的话）访问帮助 3） 表示帮助时根据需要提供三种方式的选择：另一个窗体、微帮助和指出参考某个文档 4） 用户如何回箌正常交互方式有两种选择：返回键和功能键 5） 帮助信息的构造：采用分层式帮助 6） 微帮助提供：由状态栏提供或控件上的提示文本 2.6出錯信息和警告 出错信息和警告是指出现问题时系统给出的坏消息，本系统对于出错信息和警告应该遵循以下原则： 1） 信息以用户可以理解嘚术语描述； 2） 信息应提供如何从错误中恢复的建设性意见； 3） 信息应指出错误可能导致那些不量后果以便用户检查是否出现了这些情況或帮助用户进行改正； 4） 信息应伴随着视觉上的提示，如特殊的图像、颜色或信息闪烁 5） 信息不能带有判断色彩，即任何情况下不能指责用户 2.7命令交互 由于本系统用户是WINDOWS用户故本系统不提供命令交互。 2.8一般交互原则 本系统一般交互遵循以下原则： 1） 一致性：菜单选择、数据显示以及其它功能都应使用一致的格式 2） 提供有意义的反馈 3） 执行有较大破坏性的动作前要求确认 4） 在数据录入上允许取消大多數操作 5） 减少在动作间必须记忆的信息数量 6） 在对话、移动和思考中提高效率 7） 允许用户非恶意错误，系统应保护自己不受致命作物的破壞 8） 按功能对动作分类并按此排列屏幕布局，设计者应那里提高命令和动作组织的内聚性 9） 提供语境相关的帮助机制 2.9信息显示原则 本系統信息显示遵循以下原则： 1） 只显示与当前用户语境环境有关的信息； 2） 不要用数据将用户包围使用便于用户迅速吸取信息的方式表现信息； 3） 使用一致的标记、标准缩写和可预测的颜色，显示信息的含义应该非常明确用户不必再参考其它信息源； 4） 产生有意义的出错信息，见2.6； 5） 使用缩进和文本来辅助理解； 6） 使用窗口分隔控件分隔不同类型的信息； 7） 高效地使用显示器的显示空间 2.10数据输入原则 本系统数据输入遵循以下原则： 1） 尽量减少用户输入动作的数量； 2） 维护信息显示和数据输入的一致性； 3） 交互应该时灵活的，对键盘和鼠標输入的灵活性提供支持； 4） 在当前动作的语境中使不合适的命令不起作用； 5） 让用户控制交互流用户可以跳过不必要的动作、改变所需动作的顺序（如果允许的话）以及在不退出系统的情况下从错误状态中恢复； 6） 为所有输入的动作提供帮助，见2.5； 7） 消除冗余输入可能的话提供缺省值、绝不要让用户提供程序中可以自动获取或计算出来的信息。 3用户界面设计更改和追加说明 3.1更改说明 更改本用户界面设計时应该征得所有开发者的同意所有开发者应该按更正后的原则修改和设计用户界面。 3.2追加说明 追加本用户界面设计时应该发布给所有開发者所有开发者应该按追加后的原则修改和设计用户界面。 4其它 无