部署安装Mirantis OpenStack Fuel 9.0
Openstack自动化部署工具, 主要用于生产环境.
以下操作重复性不太好, 主要是网络环境的问题, 有些安装包下载会超时. 如果是学习openstack的话, 推荐安装packstack或者devstack.
一. 环境准备
这里用的是Openstack 9.0版本.
下载, 用于安装Feul Master.
安装, 用于远程连接.
安装, 用于从Windows主机向虚拟机传输文件.
二. 安装fuel_master节点
1. VirtualBox网络配置
管理-&全局设定-&网络-&仅主机(Host-Only)网络
新建三张新的网卡:
Host-Only Ethernet Adapter
IPv4: 10.20.0.10
Mask: 255.255.255.0
DHCP: Unable
Host-Only Ethernet Adapter #2
IPv4: 172.16.0.254
Mask: 255.255.255.0
DHCP: Unable
Host-Only Ethernet Adapter #3
IPv4: 172.16.1.1
Mask: 255.255.255.0
DHCP: Unable
2. 创建虚拟机fuel_master
(1) 创建配置
名称: fuel_master
类型: Linux
版本: Red Hat (64-bit)
虚拟磁盘: 默认选项. 大小设为100GB(至少50GB).
安装的时候可以把master节点的内存调大一点, 装的更快一些.
Attached to: Host-Only Adapter.
Name: VirtualBox Host-Only Ethernet Adapter
Adapter Type: Interl PRO/1000 MT 桌面(82540EM).
Promiscuous Mode(混杂模式): All.
Attached to: Host-Only Adapter.
Name: VirtualBox Host-Only Ethernet Adapter #2
Adapter Type: Interl PRO/1000 MT 桌面(82540EM).
Promiscuous Mode(混杂模式): All.
Attached to: NAT.
Adapter Type: Interl PRO/1000 MT 桌面(82540EM).
Promiscuous Mode(混杂模式): All.
某个教程里提到, 只有PCnet-PCI II(Am79C970A)这个控制芯片才能支持PXE启动. 第一次安装时, 我使用了PCnet-PCI II(Am79C970A), 但一直无法解决虚拟机连接外网的问题, 因此又重装了一次. 第二次一开始用的是PCnet-PCI II(Am79C970A),
出现了虚拟机ping不通网关10.20.0.1的情况. 改用Interl PRO/1000 MT 桌面(82540EM)后就可以ping通网关了. 不知道为什么, 有待分析.
光驱: 将Fuel for OpenStack镜像文件装入.
(2) 开始安装
打开fuel_master电源, 开始安装. 中间会进入到一个配置菜单. 配置内容如下图所示:
事实上, 我在安装的时候, 并没有选择Skip building bootstrap image选项. 在安装过程中, 由于这步需要连到国外ubuntu源, 所以这步执行失败了, 一直卡在这里不动. 所以我干脆直接重启了fuel_master, 不知道有没有除了building bootstrap image以外的步骤被我跳过了. 在下次安装的时候, 可以直接勾选Skip building bootstrap image选项, 跳过这步.
安装结束后得到:
Fuel UI: http:
Default admin: root
Default admin password: r00tme
Default Fuel UI: admin
Default Fuel UI password: admin
在一开始的尝试中, 我将虚拟机的第一张网卡设置为10.20.0.1. 按照正常安装步骤, 此时应该fuel_master应该可以和主机相互ping通. 但是我的情况是相互都ping不通. 多次尝试无解后, 引入了软路由来解决这个问题. 不过在后续尝试中, 发现根本没必要通过软路由来解决这个问题. 把fuel_master的第三张网卡, 即eth2打开即可.
vim /etc/sysconfig/network-scripts/ifcfg-eth2
ONBOOT=yes # 系统启动时是否设置此网络接口, 设置为yes时, 系统启动时激活此设备
到此为止, fuel_master可以与主机互通, 且可以访问外网.
(3) 软路由 (这步可以略过)
软路由的教程由参见. 通过软路由, 我还顺便解决了之前虚拟机无法上网的问题.
按照上述教程配置好软路由之后, 主机和fuel_master就可以实现互联了. 但是fuel_master仍然无法连接外网. ping百度的结果如下:
ping: unknown host www.baidu.com
因为我的DNS没有设置, 导致了ping不通外网. 将DNS添加到该文件中, 该DNS是我主机的DNS地址:
(4) 使用Xshell和Xftp连接虚拟机
为了后续的操作方便, 我用Xshell和Xftp连接了fuel_master.
Xshell创建连接
主机: 10.20.0.2
端口号: 22
用户名: root
密码: r00tme
如果无法访问Fuel UI, 但主机与虚拟机又能相互ping通的话, 可能是因为虚拟机的防火墙的问题. 可以通过在Xshell中创建隧道的方式解决:
隧道-&Forwarding Rule
源主机: localhost
侦听端口: 8443
目标主机: 10.20.0.2
目标端口: 8443
Xftp创建连接
通过Xftp来将文件从主机传到虚拟机. 连接配置如下图所示:
(5) 用创建bootstrap image
在之前的步骤中, 由于网络问题, 我们没有创建成功bootstrap image. 打开 /var/www/nailgun 目录, 发现目录下现在是没有 mirrors 这个文件夹的.
Openstack官网给我们提供了动态创建的方法: . 我直接下载中提供的bootstrap image. 在此感谢该博主, 他的文章给我带来了很大帮助. 具体下载地址如下:
MOS9.0 bootstrap下载： 密码：o9x4
解压下载的bootstraps压缩包，得到4个文件, 如下图所示. 将这4个文件压缩为tar.gz文件, 得到active_bootstrap.tar.gz:
用Xftp把active_bootstrap.tar.gz传到fuel_master的任意位置. import并activate该bootstrap:
fuel-bootstrap import active_bootstrap.tar.gz
fuel-bootstrap activate d01c72e6-83f4-4a19-bb86-e6
3. 创建虚拟机fuel_controller和fuel_computer
(1) 创建虚拟机fuel_controller
名称: fuel_controller
类型: Linux
版本: Red Hat (64-bit)
虚拟磁盘: 默认选项. 大小设为100GB.
Attached to: Host-Only Adapter.
Name: VirtualBox Host-Only Ethernet Adapter
Adapter Type: Interl PRO/1000 MT 桌面(82540EM).
Promiscuous Mode(混杂模式): All.
Attached to: Host-Only Adapter.
Name: VirtualBox Host-Only Ethernet Adapter #2
Adapter Type: Interl PRO/1000 MT 桌面(82540EM).
Promiscuous Mode(混杂模式): All.
Attached to: Host-Only Adapter.
Name: VirtualBox Host-Only Ethernet Adapter #3
Adapter Type: Interl PRO/1000 MT 桌面(82540EM).
Promiscuous Mode(混杂模式): All.
设置-&系统-&网络启动-&启动顺序: 将网络启动调为第一个.
(2) 创建虚拟机fuel_computer
直接clone虚拟机fuel_controller.
选择重新初始化所有网卡的MAC地址.
选择完全复制. 将内存设为2GB.
(3) 部署openstack
打开这两台虚拟机.
通过主机浏览器进入. 可以看到, 新加的两个节点已经能够被发现了.
添加controller节点.
添加compute节点
配置网络接口
点击 网络-&验证网络. 验证网络的目的是检查与 Repositories 下地址的连通性. 我在这里将源配置为上海交通大学的ubutnu源.
deb http://ftp.sjtu.edu.cn/ubuntu/ trusty main multiverse restricted universe
deb http://ftp.sjtu.edu.cn/ubuntu/ trusty-updates main multiverse restricted universe
deb http://ftp.sjtu.edu.cn/ubuntu/ trusty-security main multiverse restricted universe
网络验证通过.
点击 控制台-&部署.
部署过程中在4%出现错误中断, 错误信息如下:
Provision has failed. Failed to execute hook 'shell' Failed to run command cd / && fa_build_image --image_build_dir /var/lib/fuel/ibp --log-file /var/log/fuel-agent-env-1.log --data_driver nailgun_build_image --input_data '{"image_data": {"/boot": {"container": "gzip", "uri": "http://10.20.0.2:8080/targetimages/env_1_ubuntu_1404_amd64-boot.img.gz", "format": "ext2"}, "/": {"container": "gzip", "uri": "http://10.20.0.2:8080/targetimages/env_1_ubuntu_1404_amd64.img.gz", "format": "ext4"}}, "output": "/var/www/nailgun/targetimages", "repos": [{"name": "ubuntu", "section": "main multiverse restricted universe", "uri": "http://ftp./ubuntu/", "priority": null, "suite": "trusty", "type": "deb"}, {"name": "ubuntu-updates", "section": "main multiverse restricted universe", "uri": "http://ftp./ubuntu/", "priority": null, "suite": "trusty-updates", "type": "deb"}, {"name": "ubuntu-security", "section": "main multiverse restricted universe", "uri": "http://ftp./ubuntu/", "priority": null, "suite": "trusty-security", "type": "deb"}, {"name": "mos", "section": "main restricted", "uri": "http://10.20.0.2:8080/mirrors/mos-repos/ubuntu/9.0", "priority": 1000, "suite": "mos9.0", "type": "deb"}, {"name": "mos-updates", "section": "main restricted", "uri": "http://10.20.0.2:8080/mirrors/mos-repos/ubuntu/9.0", "priority": 1000, "suite": "mos9.0-updates", "type": "deb"}, {"name": "mos-security", "section": "main restricted", "uri": "http://10.20.0.2:8080/mirrors/mos-repos/ubuntu/9.0", "priority": 1000, "suite": "mos9.0-security", "type": "deb"}, {"name": "mos-holdback", "section": "main restricted", "uri": "http://10.20.0.2:8080/mirrors/mos-repos/ubuntu/9.0", "priority": 1000, "suite": "mos9.0-holdback", "type": "deb"}, {"name": "Auxiliary", "section": "main restricted", "uri": "http://10.20.0.2:8080/mitaka-9.0/ubuntu/auxiliary", "priority": 1150, "suite": "auxiliary", "type": "deb"}], "packages": ["acl", "anacron", "bash-completion", "bridge-utils", "bsdmainutils", "build-essential", "cloud-init", "curl", "daemonize", "debconf-utils", "gdisk", "grub-pc", "hpsa-dkms", "hwloc", "i40e-dkms", "linux-firmware", "linux-firmware-nonfree", "linux-headers-generic-lts-trusty", "linux-image-generic-lts-trusty", "lvm2", "mcollective", "mdadm", "multipath-tools", "multipath-tools-boot", "nailgun-agent", "nailgun-mcagents", "network-checker", "ntp", "openssh-client", "openssh-server", "puppet", "python-amqp", "ruby-augeas", "ruby-ipaddress", "ruby-json", "ruby-netaddr", "ruby-openstack", "ruby-shadow", "ruby-stomp", "telnet", "ubuntu-minimal", "ubuntu-standard", "uuid-runtime", "vim", "virt-what", "vlan"], "codename": "trusty"}' (node master returned 255).
发现是因为Repositories里的mos镜像地址有问题, 修改如下 :
deb http://mirror.fuel-infra.org/mos-repos/ubuntu/9.0 mos9.0 main restricted
mos-updates:
deb http://mirror.fuel-infra.org/mos-repos/ubuntu/9.0 mos9.0-updates main restricted
mos-security:
deb http://mirror.fuel-infra.org/mos-repos/ubuntu/9.0/ mos9.0-security main restricted
mos-holdback:
deb http://mirror.fuel-infra.org/mos-repos/ubuntu/9.0 mos9.0-holdback main restricted
回到控制台, 再次尝试部署.
(4) 关于Repositories
官网给出的解释是:
You may need to configure repositories to:
Download Ubuntu packages
Apply patches
By default, your OpenStack environments have the configuration of the
repositories that point to the Mirantis update and security repository
mirrors. There is also an Auxiliary repository configured on the Fuel
Master node, which can be used to deliver packages to the nodes.
鼓励通过fuel-createmirror指令建立本地源, 如何建立本地源还没有解决.
看过本文的人也看了：
我要留言技术领域：
取消收藏确定要取消收藏吗？
删除图谱提示你保存在该图谱下的知识内容也会被删除，建议你先将内容移到其他图谱中。你确定要删除知识图谱及其内容吗？
删除节点提示无法删除该知识节点，因该节点下仍保存有相关知识内容！
删除节点提示你确定要删除该知识节点吗？Openstack安装Openstack（Juno版本） – 陈沙克日志
- 308,527 views - 128,596 views - 120,283 views - 88,649 views - 82,222 views - 77,170 views - 69,641 views - 69,564 views - 66,204 views - 58,957 views
© 2012用户名：yuweibing
文章数：34
访问量：24636
注册日期：
阅读量：1297
阅读量：3317
阅读量：443537
阅读量：1129412
51CTO推荐博文
& &2015年上半年曾经在原单位安装过openstack juno版本，使用的是Mirantis公司的fuel自动化部署工具，很好用。已经很久没有关注openstack了，版本到现在为止已经到了Newton了，上一个版本是Mitaka，今天我要做的实验就是使用fuel 9 安装Mitaka版本。& & 我的笔记本的配置是intel i5,4核，8G，win10 64位家庭版。&&&&首先到Mirantis官网下载fuel的安装镜像ISO：&&&& &&&&下载的版本是：fuel-community-9.0.iso&&&&然后在本机上安装virtualbox，直接用360软件管家安装就可以了。安装的版本是5.1.8 64位。安装完成之后碰到个小问题，就是创建虚拟机只有32位的，查了一下原因，应该是我的笔记本电脑的BIOS中CPU虚拟化功能没有开启，重新启动笔记本电脑设置BIOS开启CPU虚拟化功能之后就解决了。&&&&接下来就是创建虚拟机，并在虚拟机中中安装fuel，规划如下：&&&&虚拟机名称： fuel-master& & 设置网络，管理-&全局设置-&网络：&Host-Only Ethernet AdapterIPv4: 10.20.0.10Mask: 255.255.255.0DHCP: Unable&Host-Only Ethernet Adapter #2IPv4: 172.16.0.1Mask: 255.255.255.0DHCP: Unable&Host-Only Ethernet Adapter #3IPv4: 192.168.0.1Mask: 255.255.255.0DHCP: Unable& & 选择虚拟机的网卡，选择上面配置的3种host only网卡，注意，网卡芯片选择Intel的PRO/1000，切记混杂模式一定要设置为Allow all.并且禁用DHCP &。&&&&接下来就是挂在镜像ISO安装fuel。启动开始安装界面有两个选项，1、fuel install (static IP);2、 Fuel Advanced Install (static IP)，很奇怪的是我选择2，后面就一直在 “.....still pending”提示下卡住了，后面选择1，回车，也是一样，重启，然后开始找原因，没有选择，默认是1，后面它就自己安装成功了，不知道是什么原因。&&&&&&&&大概过了10多分钟（或者半小时？忘了）之后，就到了一个安装前的配置界面Fuel-Menu界面，主要是设置fuel用户密码，IP地址，DNS，Bootstrap Image ,其中，注意Bootstrap Image 需要将“Skip building bootstrap image”选项的钩钩选上，因为如果不选择的话，默认Fuel会从国外获取源，但是我并没有设置外部网络，而且就算设置了外部网络可以访问外网，速度也是很慢的，所以这里还是会导致安装失败.选择以后会使用本地源进行部署，后面会说明关于本地源如何下载和加载.& & 这里面有个问题，就是上面的IP地址规划，如果我是需要使用自己的IP地址规划，该怎么办呢？答案就在上面Fuel-Menu界面里面的网络配置，里面可以根据你的规划进行修改和配置。&&&&fuel的用户密码就使用默认的admin/admin。系统的root账户密码默认是r00tme，我改了一下，密码改为root。&&&&最后选择Save and quit，系统继续安装。经过大概2个小时的漫长安装等待，最后终于安装完成。&&&&登录web界面，登录地址是：&&&& &&&&登录成功，保存虚拟机快照，以备后用。&&&&&&&&增加本地源.&&&&打开 /var/www/nailgun 目录 ,用ls发现目录下现在是没有mirrors文件夹.因为我采用的是离线模式安装，没有从官方的链接中下载一些必要的库，下载下面2个连接的文件包,传输到/var/www/nailgun目录下，有冲突的部分直接替换掉.Bootstraps：链接：/s/1nu7lY6P密码：b3qtMirrors ：链接：/s/1kVwaZJ5 密码：hhsc&&&&& & &（注：这篇博客参考了：&这篇博客，向原作者致敬。）&&&&运行&Fuel-createmirror&命令,&此命令目的是让web后台管理界面的源地址变为本地地址.(默认为一些官方链接下载地址，这些地址速度很慢，有的甚至连接不到，所以这里替换为本地源地址.) &&&&&完成更新之后，使用fuel-bootstrap list 命令查看是否有bootstrap 镜像可用。结果如下：[root@fuel ~]# fuel-bootstrap list+--------------------------------------+--------------------------------------+--------+| uuid & & & & & & & & & & & & & & & & | label & & & & & & & & & & & & & & & &| status |+--------------------------------------+--------------------------------------+--------+| d01c72e6-83f4-4a19-bb86-e6 | d01c72e6-83f4-4a19-bb86-e6 | & & & &|+--------------------------------------+--------------------------------------+--------&&&&可以看到上面status是空的，正常应该是active，执行：&&&&[root@fuel ~]#&fuel-bootstrap build --activate&&&&[root@fuel ~]# fuel-bootstrap activate&d01c72e6-83f4-4a19-bb86-e6&&&&如果有报错，根据报错信息去调整，我这里碰到的问题是提示active_bootstrap 目录已经存在，那就直接把这个目录删除，重新执行上面的命令就解决了。后面开始准备条件部署controller节点、compute节点。找一台X86服务器，有足够的CPU和内存，winserver2008或者win2012，上面同样安装virtualbox，上面创建虚拟机，与我这台fuel-master组成一个局域网，再继续后续的部署。& & 后面我找到了一台联想的X3650M2服务器，24G内存、16核CPU，满足硬件实验条件。刚开始的时候安装了winserver2008，后面安装virtualbox发现5.0以上版本有问题，后面又改成vmware workstation，发现虚拟机用不了混杂模式，后面去查fuel的官方文档，发现操作系统还是有版本配套要求的。后面是安装了win10 64位 企业版，用最新的virtualbox5.12版本，并且安装了相应的virtualbox extension包，终于能够开始使用fuel部署openstack了。&&&&在部署的过程中碰到几个问题记录一下：&&&&1、配置openstack环境的时候，网络设置里面的公共网络平面有一个网关，这个网关必须要存在且能够ping通，我在配置的时候当时virtualbox虚拟网络设置的网关设置为172.16.0.254，但是openstack环境里面设置的是172.16.0.1，不匹配，导致部署失败；&&&&2、openstack环境网络配置里面有一个NTP服务器设置，默认是fuel的一个服务器地址，这个地址需要能够访问外网，因此在配置的时候需要添加一块桥接网卡接到物理网络并且在部署完各个节点的操作系统之后配置能够访问外网。另外，也可以直接将NTP服务器地址配置为fuel-master的地址10.20.0.2，这里我就是配置这个地址。&&&&3、fuel 9.0 开始部署openstack的时候对虚拟机性能还是有所要求，刚开始我配置的是虚拟机都是1核CUP，2G内存，但是部署到一半的时候报错，我部署的环境是5个节点，3个controller节点，1个compute节点，一个cinder节点，主要是controller部署的时候很耗资源，需要加大controller虚拟机的资源配置，后面我是将controller节点和compute节点调到了2个CPU内核，4G内存。&&&&4、部署完操作系统后如果部署openstack当中出现问题需要重启物理机，这个时候将启动顺序从网络启动改为硬盘启动；&&&&5、在部署openstack各个组件的时候碰到问题需要重新部署是很头疼的事情，每次部署需要花费好几个小时，所以尽量将相关的配置多检查几遍，否则时间成本太高了。本文出自 “” 博客，请务必保留此出处
了这篇文章
类别：┆阅读(0)┆评论(0)使用Fuel安装Openstack
日期: 18:07:11
来源：csdn
使用Fuel安装Openstack
Openstack自动化部署工具,主要用于生产环境.
一. 环境准备
这里用的是Openstack 9.0版本.
下载, 用于安装Feul Master.
安装, 用于远程连接.
二. 安装fuel_master节点
1. VirtualBox网络配置
管理-&全局设定-&网络-&仅主机(Host-Only)网络
新建三张新的网卡:
Host-Only Ethernet Adapter #1
IPv4: 10.20.0.10
Mask: 255.255.255.0
DHCP: Unable
Host-Only Ethernet Adapter #2
IPv4: 172.16.0.1
Mask: 255.255.255.0
DHCP: Unable
Host-Only Ethernet Adapter #3
IPv4: 192.168.4.1
Mask: 255.255.255.0
DHCP: Unable
2. 创建虚拟机fuel_master
(1) 创建配置:
名称: fuel_master
类型: Linux
版本: Red Hat (64-bit)
虚拟磁盘: 默认选项. 大小设为100GB(至少50GB).
Attached to: Host-Only Adapter.
Name: VirtualBox Host-Only Ethernet Adapter #1
Adapter Type: Interl PRO/1000 MT 桌面(82540EM).
Promiscuous Mode(混杂模式): All.
Attached to: Host-Only Adapter.
Name: VirtualBox Host-Only Ethernet Adapter #2
Attached to: Host-Only Adapter.
Name: VirtualBox Host-Only Ethernet Adapter #3
某个教程里提到, 只有PCnet-PCI II(Am79C970A)这个控制芯片才能支持PXE启动. 第一次安装时, 我使用了PCnet-PCI II(Am79C970A), 但一直无法解决虚拟机连接外网的问题, 因此又重装了一次. 第二次一开始用的是PCnet-PCI II(Am79C970A),
出现了虚拟机ping不通网关10.20.0.1的情况. 改用Interl PRO/1000 MT 桌面(82540EM)后就可以ping通网关了. 不知道为什么, 有待分析.
光驱: 将Fuel for OpenStack镜像文件装入.
中间会进入到一个配置菜单. 配置内容如下图所示:
注意, 这里把Building bootstrap image的步骤跳过了, 这里操作是需要联网的. 我这里用的是离线的image, 所以跳过了这一步.
安装结束后得到:
Fuel UI: http:
Default admin: root
Default admin password: r00tme
Default Fuel UI: admin
Default Fuel UI password: admin
在一开始的尝试中, 我将虚拟机的第一张网卡设置为10.20.0.1. 按照正常安装步骤, 此时应该fuel_master应该可以和主机相互ping通. 但是我的情况是相互都ping不通. 多次尝试无解后, 引入了软路由.
软路由的教程由参见. 通过软路由, 我还顺便解决了之前虚拟机无法上网的问题.
按照上述教程配置好软路由之后, 主机和fuel_master就可以实现互联了. 但是fuel_master仍然无法连接外网. ping百度的结果如下:
ping: unknown host www.baidu.com
因为我的DNS没有设置, 导致了ping不通外网. 将DNS添加到该文件中, 该DNS是我主机的DNS地址:
4. 使用Xshell连接虚拟机
创建新连接:
主机: 10.20.0.2
端口号: 22
用户名: root
密码: r00tme
如果无法访问Fuel UI, 但主机与虚拟机又能相互ping通的话, 可能是因为虚拟机的防火墙的问题. 可以通过在Xshell中创建隧道的方式解决:
隧道-&Forwarding Rule
源主机: localhost
侦听端口: 8443
目标主机: 10.20.0.2
目标端口: 8443
5. Bootstrap Image
打开 /var/www/nailgun 目录 ,发现目录下现在是没有 mirrors 这个文件夹的.
准备好本地源，本地源大小有2.45g，下载地址见文章。
下载安装, 通过它来将文件从主机传到虚拟机. 连接配置如下图所示:
解压下载的本地源压缩包，用xftp把mirrors文件夹传到fuel_master的 /var/www/nailgun 目录下, 如下图所示:
上传好后，直接运行命令:
fuel-createmirror
6. 创建虚拟机fuel_controller
名称: fuel_controller
类型: Linux
版本: Red Hat (64-bit)
虚拟磁盘: 默认选项. 大小设为100GB.
Attached to: Host-Only Adapter.
Name: VirtualBox Host-Only Ethernet Adapter #1
Promiscuous Mode(混杂模式): All.
Attached to: Host-Only Adapter.
Name: VirtualBox Host-Only Ethernet Adapter #2
Promiscuous Mode(混杂模式): All.
Attached to: Host-Only Adapter.
Name: VirtualBox Host-Only Ethernet Adapter #3
Promiscuous Mode(混杂模式): All.
设置-&系统-&网络启动-&启动顺序: 将网络启动调为第一个.
7. 创建虚拟机fuel_computer
直接clone虚拟机fuel_controller.
选择重新初始化所有网卡的MAC地址.
选择完全复制.
本页内容版权归属为原作者，如有侵犯您的权益，请通知我们删除。
flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 一、什么是Flume? flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume O
说明： 本文是Confluent Platform 3.0版本中对于Kafka Streams的翻译。 原文地址： https://docs.confluent.io/3.0.0/streams/index.html 看了很多其他人翻译的文档，还是第一次翻译，有什么翻译的不好的地方还请指出。
这是Kafka Streams介绍的第二篇，以前的介绍如下： http://blog.csdn.net/ransom0512/article/details/
快速入门 1.1.
日下午，笔者做客国泰君安通信研究团队”软银收购ARM“深度解读电话会议，与在线的150多位机构投资者分享了对于”软银收购ARM“的个人观点。 以下为电话会议实录，略经编辑以及后期补充部分观点。 主持人：各位同事朋友大家下午好，我是国泰君安通信行业分析师宋嘉吉，欢迎大家今天参加本次电话会议，此次会议的主题是软银收购ARM，7月18号软银宣布以243亿英镑收购半导体IP供应商ARM，是对未来物联网战略的提前卡位，我们认为这也是物联网行业布局芯片的又一重磅催化。今天大唐电信封了涨停，按照我们对
一、HBase伪分布式集群安装 1、安装包解压 $ cd app/ $ tar -xvfhbase-1.2.0-cdh5.7.1.tar.gz $ rmhbase-1.2.0-cdh5.7.1.tar.gz
2、添加环境变量 $ cd ~ $ vim .bashrc exportHBASE_HOME=/home/developer/app/hbase-1.2.0-cdh5.7.1 exportPATH=$PATH:$HBASE_HOME/bin $ source .bashrc
3、编辑hbase
本文将介绍Oracle集成云Agent的基础架构，所包含的组件，和如何连接云与OP应用。 目前/典型的集成方式 目前常用的将云应用/基于互联网的应用与企业内部部署(OP)应用连接的方式为：穿透一层或者更多的防火墙，使用反向代理、Oracle API Gateway或者OHS。要实现这些操作需要多种专业知识，比如防火墙需要开放入站端口，暴露一个私有的SOAP/REST服务并且配置网络路由。SOAP/REST服务可以用SOA套件之类的产品实现，比如与CRM系统进行通讯，实现客户信息的接收。如下图所示： 如果使
本次主要是详细记录Docker1.12在Ubuntu16.04上的安装过程，创建Docker组（避免每次敲命令都需要sudo），Docker常用的基本命令的总结，在容器中运行Hello world，以及创建一个基于Python Flask的web应用容器的全过程。 1.Docker1.12在Ubuntu16.04上安装 1.1.先决条件1,添加Docker源 wxl @wxl - pc: ~ $ sudo apt-get update 增加CA证书 wxl@wxl -pc :~$ sudo apt -ge
参考自： http://blog.csdn.net/jdplus/article/details/ 进行了大范围修改和完善 文件下载 CDH (Cloudera’s Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。
Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的
Spark可以通过三种方式配置系统: 通过SparkConf对象, 或者Java系统属性配置Spark的应用参数 通过每个节点上的conf/spark-env.sh脚本为每台机器配置环境变量 通过log4j.properties配置日志属性 Spark属性 Spark属性可以为每个应用分别进行配置，这些属性可以直接通过SparkConf设定，也可以通过set方法设定相关属性。 下面展示了在本地机使用两个线程并发执行的配置代码： val conf = new SparkConf() .setMaster(
云端基于Docker的微服务与持续交付实践笔记，是基于易立老师在阿里巴巴首届在线技术峰会上《云端基于Docker的微服务与持续交付实践》总结而出的。 本次主要讲了什么？ Docker Swarm Docker Swarm mode 微服务支持（Docker集群架构体系） Docker的发展趋势和前沿成果 在Docker技术方面还是很佩服大牛的，所以赶紧写下笔记，追随大神的脚步。 阿里云资深专家易立，技术就不说了，他比其他直播间硬生生多讲了半个多点，于情于理还是万分感谢本次分享的（可惜devOps没时间讲了
前面我们已经部署好了一个Docker Swarm集群环境，接下来，我们就对Swarm集群的相关管理进行简单介绍。 集群调度策略 既然是集群，就是有一个调度策略，也就是该集群包含那么多子节点，我到底是设置一个什么样的策略来进行分配呢？ 我们查看Docker官方文档可以看到Swarm的集群调度包含三种策略： To choose a ranking strategy, pass the
--strategy
flag and a strategy value to the
swarm manage
Copyright (C)
ITfish.net}