&>&hadoop2.7.3+hive1.2.1+spark2.0.1性能测试
hadoop2.7.3+hive1.2.1+spark2.0.1性能测试
上传大小：44KB
hadoop2.7.3+hive1.2.1+spark2.0.1性能测试
综合评分：0
{%username%}回复{%com_username%}{%time%}\
/*点击出现回复框*/
$(".respond_btn").on("click", function (e) {
$(this).parents(".rightLi").children(".respond_box").show();
e.stopPropagation();
$(".cancel_res").on("click", function (e) {
$(this).parents(".res_b").siblings(".res_area").val("");
$(this).parents(".respond_box").hide();
e.stopPropagation();
/*删除评论*/
$(".del_comment_c").on("click", function (e) {
var id = $(e.target).attr("id");
$.getJSON('/index.php/comment/do_invalid/' + id,
function (data) {
if (data.succ == 1) {
$(e.target).parents(".conLi").remove();
alert(data.msg);
$(".res_btn").click(function (e) {
var parentWrap = $(this).parents(".respond_box"),
q = parentWrap.find(".form1").serializeArray(),
resStr = $.trim(parentWrap.find(".res_area_r").val());
console.log(q);
//var res_area_r = $.trim($(".res_area_r").val());
if (resStr == '') {
$(".res_text").css({color: "red"});
$.post("/index.php/comment/do_comment_reply/", q,
function (data) {
if (data.succ == 1) {
var $target,
evt = e || window.
$target = $(evt.target || evt.srcElement);
var $dd = $target.parents('dd');
var $wrapReply = $dd.find('.respond_box');
console.log($wrapReply);
//var mess = $(".res_area_r").val();
var mess = resS
var str = str.replace(/{%header%}/g, data.header)
.replace(/{%href%}/g, 'http://' + window.location.host + '/user/' + data.username)
.replace(/{%username%}/g, data.username)
.replace(/{%com_username%}/g, data.com_username)
.replace(/{%time%}/g, data.time)
.replace(/{%id%}/g, data.id)
.replace(/{%mess%}/g, mess);
$dd.after(str);
$(".respond_box").hide();
$(".res_area_r").val("");
$(".res_area").val("");
$wrapReply.hide();
alert(data.msg);
}, "json");
/*删除回复*/
$(".rightLi").on("click", '.del_comment_r', function (e) {
var id = $(e.target).attr("id");
$.getJSON('/index.php/comment/do_comment_del/' + id,
function (data) {
if (data.succ == 1) {
$(e.target).parent().parent().parent().parent().parent().remove();
$(e.target).parents('.res_list').remove()
alert(data.msg);
//填充回复
function KeyP(v) {
var parentWrap = $(v).parents(".respond_box");
parentWrap.find(".res_area_r").val($.trim(parentWrap.find(".res_area").val()));
评论共有0条
VIP会员动态
热门资源标签
CSDN下载频道资源及相关规则调整公告V11.10
下载频道用户反馈专区
下载频道积分规则调整V1710.18
spring mvc+mybatis+mysql+maven+bootstrap 整合实现增删查改简单实例.zip
资源所需积分/C币
当前拥有积分
当前拥有C币
输入下载码
为了良好体验，不建议使用迅雷下载
hadoop2.7.3+hive1.2.1+spark2.0.1性能测试
会员到期时间：
剩余下载个数：
剩余积分：0
为了良好体验，不建议使用迅雷下载
积分不足！
资源所需积分/C币
当前拥有积分
您可以选择
程序员的必选
绿色安全资源
资源所需积分/C币
当前拥有积分
当前拥有C币
为了良好体验，不建议使用迅雷下载
资源所需积分/C币
当前拥有积分
当前拥有C币
为了良好体验，不建议使用迅雷下载
资源所需积分/C币
当前拥有积分
当前拥有C币
您的积分不足，将扣除 10 C币
为了良好体验，不建议使用迅雷下载
无法举报自己的资源
你当前的下载分为234。
你还不是VIP会员
开通VIP会员权限，免积分下载
你下载资源过于频繁，请输入验证码
您因违反CSDN下载频道规则而被锁定帐户，如有疑问，请联络:!
若举报审核通过，可返还被扣除的积分
被举报人：
举报的资源分：
请选择类型
资源无法下载 （ 404页面、下载失败、资源本身问题）
资源无法使用 （文件损坏、内容缺失、题文不符）
侵犯版权资源 （侵犯公司或个人版权）
虚假资源 （恶意欺诈、刷分资源）
含色情、危害国家安全内容
含广告、木马病毒资源
*详细原因：
hadoop2.7.3+hive1.2.1+spark2.0.1性能测试> spark与hive整合
热门文章热门标签
12月25日 |
12月25日 |
12月25日 |
12月25日 |
12月25日 |
12月25日 |
12月25日 |
12月25日 |spark 2.1.1访问hive2.3.0
添加jdbc依赖
&mysql-connector-java&
添加spark-hive支持依赖
&org.apache.spark&
&spark-hive_2.11&
拷贝hive-site，hdfs-site，core-site到resources中
运行spark程序
val spark = SparkSession
.builder()
.master("local[*]")
.appName("hive")
.enableHiveSupport()
.getOrCreate()
import spark.sql
sql("CREATE TABLE IF NOT EXISTS src (ci STRING)")
sql("LOAD DATA LOCAL INPATH 'src/main/resources/1.txt' INTO TABLE src")
sql("SELECT * FROM src").show()
sql("SELECT COUNT(*) FROM src").show()
sql("DROP TABLE IF EXISTS LOC")
df.write.saveAsTable("LOC")
若建表失败，提示权限不足，无法向HDFS中写入，修改HDFS上warehouse的权限即可
hadoop fs -chmod 777 /user/hive/warehouse
没有更多推荐了，
加入CSDN，享受更精准的内容推荐，与500万程序员共同成长！由于前面安装版本过老，导致学习过程中出现了很多问题，今天安装了一个新一点的版本。安装结束启动时遇到一点问题，记录在这里。
第一步：hive-1.2安装
通过WinSCP将apache-hive-1.2.1-bin.tar.gz上传到/usr/hive/目录下
[root@spark1 hive]# chmod u+x apache-hive-1.2.1-bin.tar.gz
#增加执行权限
[root@spark1 hive]# tar -zxvf apache-hive-1.2.1-bin.tar.gz #解压
[root@spark1 hive]# mv apache-hive-1.2.1-bin hive-1.2
[root@spark1 hive]# vi /etc/profile #配置环境变量
export HIVE_HOME=/usr/hive/hive-1.2
export PATH=$HIVE_HOME/bin
[root@spark1 hive]# source /etc/profile #是环境变量生效
[root@spark1 hive]# which hive #查看安装路径
第二步：安装mysql
[root@spark1 hive]# yum install -y mysql-server #下载安装
[root@spark1 hive]# service mysqld start #启动mysql
[root@spark1 hive]# chkconfig mysqld on #设置开机自动启动
[root@spark1 hive]# yum install -y mysql-connector-java #yum安装mysql connector
[root@spark1 hive]# cp /usr/share/java/mysql-connector-java-5.1.17.jar /usr/hive/hive-0.13/lib
#拷贝到hive中的lib目录下
第三步：在mysql上创建hive元数据库，并对hive进行授权
mysql& create database if not exists hive_
mysql& grant all privileges on hive_metadata.* to 'hive'@'%' identified by 'hive';
mysql& grant all privileges on hive_metadata.* to 'hive'@'localhost' identified by 'hive';
mysql& grant all privileges on hive_metadata.* to 'hive'@'spark1' identified by 'hive';
mysql& use hive_
mysql& exit
第四步：配置文件
[root@spark1 hive]# cd /usr/hive/hive-1.2/conf #进入到conf目录
[root@spark1 conf]# mv hive-default.xml.template hive-site.xml #重命名
[root@spark1 conf]# vi hive-site.xml
&property&
&name&javax.jdo.option.ConnectionURL&/name&
&value&jdbc:mysql://spark1:3306/hive_metadata?createDatabaseIfNotExist=true&/value&
&description&JDBC connect string for a JDBC metastore&/description&
&/property&
&property&
&name&javax.jdo.option.ConnectionDriverName&/name&
&value&com.mysql.jdbc.Driver&/value&
&description&Driver class name for a JDBC metastore&/description&
&/property&
&property&
&name&javax.jdo.option.ConnectionUserName&/name&
&value&hive&/value&
&description&username to use against metastore database&/description&
&/property&
&property&
&name&javax.jdo.option.ConnectionPassword&/name&
&value&hive&/value&
&description&password to use against metastore database&/description&
&/property&
&property&
&name&hive.metastore.warehouse.dir&/name&
&value&/user/hive/warehouse&/value&
&description&location of default database for the warehouse&/description&
&/property&
[root@spark1 conf]# mv hive-env.sh.template hive-env.sh #重命名
[root@spark1 ~]# vi /usr/hive/hive-1.2/bin/hive-config.sh #加入java、hive、hadoop 路径
export JAVA_HOME=/usr/java/jdk1.8
export HIVE_HOME=/usr/hive/hive-1.2
export HADOOP_HOME=/usr/hadoop/hadoop-2.6.0
[hadoop@spark1 hive]$ cd hive-1.2
[hadoop@spark1 hive-1.2]$ hive
#进入hive开始使用
Exception in thread "main" java.lang.RuntimeException: java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: \({system:java.io.tmpdir%7D/\)%7Bsystem:user.name%7D
启动hive-1.2报错1
Exception in thread "main" java.lang.RuntimeException: java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: \({system:java.io.tmpdir%7D/\)%7Bsystem:user.name%7D
将hive-site.xml中三个含有system:java.io.tmpdir配置项的值修改为 $HIVE_HOME/iotmp 即：
/usr/hive/hive-1.2/iotmp
&property&
&name&hive.exec.local.scratchdir&/name&
&value&/usr/hive/hive-1.2/iotmp&/value&
&description&Local scratch space for Hive jobs&/description&
&/property&
&property&
&name&hive.downloaded.resources.dir&/name&
&value&/usr/hive/hive-1.2/iotmp&/value&
&description&Temporary local directory for added resources in the remote file system.&/description&
&/property&
&property&
&name&hive.downloaded.resources.dir&/name&
&value&/usr/hive/hive-1.2/iotmp&/value&
&description&Temporary local directory for added resources in the remote file system.&/description&
&/property&
搞定1之后报错2
[ERROR] Terminal i falling back to unsupported
原因是hadoop目录下存在老版本jline：
/usr/hadoop/hadoop-2.6.0/share/hadoop/yarn/lib/jline-0.9.94.jar
解决方法：
将hive目录/usr/hive/hive-1.2/lib下的新版本jline的JAR包拷贝到hadoop下：
cp jline-2.12.jar /usr/hadoop/hadoop-2.6.0/share/hadoop/yarn/lib
结果如下图
阅读(...) 评论()一个半路出家 程序猿 的一点学习点滴。。。
hive2.1.1 和 spark2.1.2
把hive-site.xml 配置copy到spark conf 配置目录下，
启动完spark2.12，用pyspark命令进入，会报
Caused by: org.apache.hadoop.hive.metastore.api.MetaException: Hive
Schema version 1.2.0 does not match metastore’s schema version 2.1.0
Metastore is not upgraded or corrupt
比较简单的解决方案是修改hive-site.xml里的配置去掉验证。
&hive.metastore.schema.verification&
没有更多推荐了，
加入CSDN，享受更精准的内容推荐，与500万程序员共同成长！}