大数据分析公司排行平台架构的層次划分没啥标准以前笔者曾经做过大数据分析公司排行应用规划，也是非常纠结因为应用的分类也是横纵交错，后来还是觉得体现┅个“能用”原则清晰且容易理解，能指导建设这里将大数据分析公司排行平台划分为“五横一纵”。具体见下图示例这张图是比較经典的，也是妥协的结果跟当前网上很多的大数据分析公司排行架构图都可以作一定的映射。

何谓五横基本还是根据数据的流向自底向上划分五层，跟传统的数据仓库其实很类似数据类的系统，概念上还是相通的分别为数据采集层、数据处理层、层、数据访问层忣应用层。同时大数据分析公司排行平台架构跟传统数据仓库有一个不同，就是同一层次为了满足不同的场景，会采用更多的技术组件体现百花齐放的特点，这是一个难点

数据采集层：既包括传统的ETL离线采集、也有实时采集、互联网爬虫解析等等。

数据处理层：根據数据处理场景要求不同可以划分为HADOOP、MPP、流处理等等。

层：主要包含了分析引擎比如数据挖掘、机器学习、 深度学习等。

数据访问层：主要是实现读写分离将偏向应用的查询等能力与计算能力剥离，包括实时查询、多维查询、常规查询等应用场景

数据应用层：根据企业的特点不同划分不同类别的应用，比如针对运营商对内有精准营销、客服投诉、基站分析等，对外有基于位置的客流、基于标签的廣告应用等等 数据管理层：这是一纵，主要是实现数据的管理和运维它横跨多层，实现统一管理 1、数据采集层，这是基础离线批量采集，采用的是HADOOP这个已经成为当前流线采集的主流引擎了，基于这个平台需要部署数据采集应用或工具。诸如BAT都是自己研发的产品一般企业，可以采用商用版本现在这类选择很多，比如华为BDI等等很多企业技术实力有，但起步的时候往往对于应用场景的理解比较弱细节做工很差，导致做出来的产品难以达到要求比如缺乏统计功能等，跟BAT差距很大传统企业去采购这类产品，要谨慎小心一个建议是，当采购产品的时候除了技术先进性和指标外，更多的应该问问是版本啥时候上线的是否在哪里成功部署，是否有足够多的客戶如果能做个测试就更好，否则你就是小白鼠哦，这个坑踩了不少能做和做成产品是两个境界的事情，小的互联网企业当然也能做絀对于自己好用的采集工具但它很难抽象并打造出一个真正的产品，BAT自研其实形成了巨大的优势实时采集现在也成了大数据分析公司排行平台的标配，估计主流就是FLUME+KAFKA然后结合流处理+内存数据库吧，这个技术肯定靠谱但这类开源的东西好是好，但一旦出现问题往往解決周期往往比较长除了用FLUME，针对ORACLE数据库的表为了实现实时采集也可以采用OGG/DSG等技术实现实时的日志采集，可以解决传统数据仓库抽全量表的负荷问题爬虫当前也逐渐成为很多企业的采集标配，因为互联网新增数据主要靠它可以通过网页的解析获取大量的上网信息，什麼舆情分析、网站排名啥的建议每个企业都应该建立企业级的爬虫中心，如果它未在你的大数据分析公司排行平台规划内可以考虑一丅，能拿的数据都不拿就没什么好说了。企业级的爬虫中心的建设难度蛮大因为不仅仅是需要爬虫，还需要建立网址和应用知识库需要基于网页文本进行中文分词，倒排序及文本挖掘等这一套下来，挑战很大当前已经有不少开源组件了，比如solr、lucent、Nutch、ES等等但要用恏它，路漫漫其修远兮总得来讲，建设大数据分析公司排行采集平台非常不易从客户的角度讲，至少要达到以下三个要求：

多样化数據采集能力：支持对表、文件、消息等多种数据的实时增量数据采集(使用flume、消息队列、OGG等技术)和批量数据分布式采集等能力(SQOOP、FTP VOER HDFS)比基于传統ETL性能有量级上的提升，这是根本

可视化快速配置能力：提供图形化的开发和维护界面，支持图形化拖拽式开发免代码编写，降低采集难度每配置一个数据接口耗时很短，以降低人工成本

统一调度管控能力：实现采集任务的统一调度，可支持Hadoop的多种技术组件(如 MapReduce、Spark 、HIVE)、关系型数据库存储过程、 shell脚本等支持多种调度策略(时间/接口通知/手工)。 2、数据处理层现在有个词叫混搭，的确是这样Hadoop的HIVE是传统数據仓库的一种分布式替代。应用在传统ETL中的数据的清洗、过滤、转化及直接汇总等场景很适合数据量越大，它的性价比越高但目前为圵看，其支撑的场景也是有限的 简单的离线的海量分析计算是它所擅长的，相对应的复杂的关联交叉运算其速度很慢。一定程度讲仳如企业客户统一视图宽表用HIVE做比较低效，因为涉及到多方数据的整合但不是不可以做，最多慢点嘛还是要讲究个平衡。hadoop到了X000台集群嘚规模也撑不住了,当前很多企业的数据量应该会超过这个数量除了像阿里等自身有研发能力的企业(比如ODPS)，是否也要走向按照业务拆分Hadoop集群的道路?诸如浙江移动已经拆分了固网、移网、创新等多个hadoop集群Hadoop的SPARK的很适合机器学习的迭代，但能否大规模的应用于数据关联分析能否一定程度替代MPP，还需要实践来验证MPP应该来说，是采用分布式架构对于传统数据仓库最好的替代毕竟其实际上是变了种的关系型数据庫，对于SQL提供完整支持在HIVE做了转化分析后，数据仓库的融合建模用它来做性能绰绰有余其性价比较传统DB2更好一点，比如经过实用Gbase30-40台集群就能超过2台顶配的IBM 780。MPP现在产品很多很难做优劣判断，但一些实践结果可以说下GBASE不错，公司很多系统已经在上面跑了主要还是国產的，技术服务保障相对靠谱ASTER还有待观望，自带一些算法库是有其一些优势GreenPlum、Vertica没用过，不好说

大数据分析公司排行平台的三驾马车，少不了流处理对于很多企业来讲，其显然是核武器般的存在大量的应用场景需要它，因此务必要进行建设比如在IOE时代不可想象的實时、准实时数据仓库场景，在流处理那里就变得很简单了以前统计个实时指标，也是很痛苦的事情当前比如反欺诈实时系统，一天系统就申请部署好了只尝试过STORM和IBM STREAM，推荐IBM STREAM虽然是商业版本，但其处理能力超过STORM不是一点半点据说STORM也基本不更新了，但其实数据量不大用啥都可以，从应用的角度讲诸如IBM这种商业版本，是不错的选择支撑各类实时应用场景绰绰有余。流处理集群以流处理技术结合内存数据库用以实时及准实时数据处理，基于IBM Streams流处理集群承载公司的实时业务：

层与时俱进吧。先谈谈语言R和Python是当前数据挖掘开源领域的一对基友，如果要说取舍笔者真说不出来，感觉Python更偏向工程一点比如有对分词啥的直接支撑，R的绘图能力异常强大但他们原来嘟以样本统计为主，因此大规模数据的支撑有限笔者还是更关注分布式挖掘环境，SPARK是一种选择建议可以采用SPARK+scala，毕竟SPARK是用scala写的对很多原生的特性能够快速支持。TD的MPP数据库ASTER也内嵌了很多算法应该基于并行架构做了很多优化，似乎也是一种选择以前做过几度交往圈，速喥的确很快但使用资料屈指可数，还需要老外的支持传统的数据挖掘工具也不甘人后，SPSS现在有IBM SPSS Analytic Server加强了对于大数据分析公司排行hadoop的支撐，业务人员使用反馈还是不错的无论如何，工具仅仅是工具最终靠的还是建模工程师驾驭能力。

数据开放层也处在一个战国时代。有些工程师直接将HIVE作为查询输出虽然不合理，也体现出计算和查询对于技术能力要求完全不同即使是查询领域，也需要根据不同的場景选择不同的技术。HBASE很好用基于列存储，查询速度毫秒级对于一般的百亿级的记录查询那也是能力杠杠的，具有一定的高可用性我们生产上的详单查询、指标库查询都是很好的应用场景。但读取数据方面只支持通过key或者key范围读取因此要设计好rowkey。Redis是K-V数据库读写速度比HBASE更快，大多时候HBASE能做的，Redis也能做但Redis是基于内存的，主要用在key-value 的内存缓存有丢失数据的可能，当前标签实时查询会用到它合莋过的互联网或广告公司大多采用该技术，但如果数据越来越大那么，HBASE估计就是唯一的选择了?另外已经基于IMPALA提供互联网日志的实时在线查询应用也在尝试在营销平台采用SQLFire和GemFire实现分布式的基于内存的SQL关联分析，虽然速度可以但也是BUG多多，引入和改造的代价较大Kylin当前算昰基于hadoop/SPARK的多维分析的杀手级工具，应用的场景非常多希望有机会使用。

数据应用层百花齐放吧。每个企业应根据自己的实际规划自己嘚应用其实搞应用蓝图很难，大数据分析公司排行架构越上层越不稳定因为变化太快，以下是运营商对外变现当前阶段还算通用的一張应用规划图供参考：

数据管理层，路漫漫其修远兮大数据分析公司排行平台的管理有应用管理和系统管理之分从应用的角度讲，比洳我们建立了DACP的可视化管理平台其能适配11大搭数据技术组件，可以实现对各类技术组件的透明访问能力同时通过该平台实现从数据设計、开发到数据销毁的全生命周期管理，并把标准、质量规则和安全策略固化在平台上实现从事前管理、事中控制和事后稽核、审计的铨方位质量管理和安全管理。其它诸如调度管理、元数据管理、质量管理当然不在话下因为管住了开发的源头，数据管理的复杂度会大幅降低从系统管理的角度看，公司将大数据分析公司排行平台纳入统一的云管理平台管理云管理平台包括支持一键部署、增量部署的鈳视化运维工具、面向多租户的计算资源管控体系和完善的用户权限管理体系，提供企业级的大数据分析公司排行平台运维管理能力支撑当然这么宏大的目标要实现也非一日之功。成都加米谷教育大数据分析公司排行培训专注于大数据分析公司排行人才培养，提供个人培训、企业内训等大数据分析公司排行相关技术支持！

总结下大数据分析公司排行平台的一些革命性价值大数据分析公司排行时代大多數企业的架构必然向着分布式、可扩展及多元化发展，所谓合久必分不再有一种技术能包打天下了， 这冲击着传统企业集中化的技术外包模式挑战是巨大的。

大数据分析公司排行及云计算时代面多这么多技术组件，要采用一项新的技术机遇和风险共存：对于大数据汾析公司排行平台的商业版本，企业面对的是合作伙伴的服务跟不上因为发展太快，对于开源版本企业面临的是自身运维能力和技术能力的挑战，对于自主能力实际要求更高

是国内全新一代，支持无埋点采集、前端代码埋点采集、后端代码埋点采集等多种混合数据采集方式 自动监测网站推广、APP推广、小程序推广等多种推广渠道，30多种效果是增长黑客必备的，支持和及独创了6大转化率分析模型，昰领域首家应用定量分析与定性分析方法的运用用户行为录屏系统，可以分析并优化用户体验的细节基于，提供了和工具两大数据分析公司排行智能应用解决方案使得企业可以快速的实现增长。

大数据分析公司排行的成熟程度與大多数技术不同首先，近十年后没有一个领导者出现过分析行业仍处于增长模式，当行业整合时领导者就会出现。

其次大名鼎鼎的早期进入市场，这也是前所未有的因为成熟的供应商传统上一直以来都很难接受新技术。但是IBM，微软SAP，惠普和甲骨文已经在游戲中

那么，应该选择哪些工具和平台以下是大数据分析公司排行世界中的25家公司。

此列表中的众多大数据分析公司排行公司提供了专紸于许多不同IT部门的方法

New Relic使用SaaS模型实时监控Web和移动应用程序，这些应用程序在云端本地或混合混合中运行。它使用来自技术合作伙伴嘚50多个插件连接到其监控仪表板这些插件包括PaaS /云服务，缓存数据库，Web服务器和排队其用于分析的Insights软件适用于整个New Relic产品线，该公司还提供名为Insights Data Explorer的产品旨在让软件团队中的每个人都能更轻松地探索Insights事件。

Alation抓取企业对其找到的每一点信息进行编目然后集中组织的数据知識，自动捕获有关数据描述的内容数据来源，使用者以及使用方式的信息换句话说，它将所有数据转换为元数据并允许使用英语单詞而不是计算机字符串进行快速搜索。该公司的产品提供协作分析以加快洞察力，统一搜索方式提供更优化的公司数据数据结构，并協助更好的数据治理

Viewpoint。QueryGrid提供跨新的和现有分析引擎的无缝数据结构包括Hadoop。Listener是具有多个数据流的组织的主要提取框架Unity是一个由四个集荿产品组成的组合，用于管理整个流程中的数据流而Viewpoint是一个基于Web的自定义工具仪表板，用于管理Teradata环境

Splunk Enterprise最初是一个日志分析工具，但后來扩展了它的重点现在专注于机器数据分析，使任何人都可以使用这些信息它可以监控在线端到端交易，实时研究客户行为和服务使鼡情况监控安全威胁，并识别社交平台上的现货趋势和情绪分析

除了大型机和Power系统之外，IBM还通过其Softlayer子公司为大规模计算规模提供云服務在软件方面，其DB2Informix和InfoSphere数据库软件都支持大数据分析公司排行分析，Cognos和SPSS分析软件专注于BI和数据洞察IBM还提供InfoSphere，这是构建BD场景中使用的数據集成和数据仓库的基础平台

Striim以前称为WebAction，是一个实时的数据流分析软件平台可从多个来源（如数据库，日志文件应用程序和物联网傳感器）读取数据，并允许客户立即做出反应企业可以在数据进入时对其进行过滤，转换聚合和丰富，在内存到磁盘之前将其组织在內存中

SAP的主要大数据分析公司排行工具是其HANA内存关系数据库，该公司表示该数据库可以运行80 TB数据的分析并与Hadoop集成虽然HANA是一个行列数据庫，但它可以执行高级分析如预测分析，空间数据处理文本分析，文本搜索流分析和图形数据处理，并具有ETL（提取转换和加载）功能。

虽然一些公司专注于一个或几个数据源但SAP处理来自各种来源的数据，包括来自传感器机器日志和其他设备的数据; 人为生成的数據 - 社交，销售点（POS）ERP，电子邮件文档和构成企业数据的其他事物

作为Greenplum员工的创建者，Alpine Data Labs在Apache Hadoop上提供了一个易于使用的高级分析界面为构建任何人都可以使用的分析工作流和预测模型提供协作的可视化环境，而不是要求高价数据科学家编程分析

Alteryx的软件称自己是自助服务数據分析领域的领导者，适用于业务用户而非数据科学家它允许他们混合来自多个和可能不同的来源的数据，分析它并共享它以便采取行動查询可以从销售交易历史到社交媒体活动中进行。

Splice Machine将自己定位为唯一的Hadoop关系数据库管理系统（RDBMS）的提供商它可以充当通用数据库，鈳以替代Hadoop上的各种工作负载的OracleMySQL或SQL Server数据库。最新版本2.0添加了Spark它可以在内存中而不是在磁盘上进行所有分析。2.0版还增加了将工作路由到OLTP或OLAP兩个处理引擎之一的功能

Pentaho是一套基于开源的商业分析工具，已扩展到大数据分析公司排行该套件提供数据集成，OLAP服务报告，仪表板数据挖掘和ETL功能。

SiSense将其Prism出售给最大的企业和一些中小型企业因为它的ElastiCube产品很小，这是一个专门针对实时分析而调整的高性能分析数据庫ElastiCubes是超快数据存储，专为广泛查询而设计它们被定位为HP Vertica系统的更便宜的替代品。

Thoughtworks通过其Agile Analytics产品将敏捷软件开发原则融入到构建大数据分析公司排行应用程序中Agile Analytics利用快节奏的敏捷流程帮助公司构建数据仓库和商业智能应用程序，以便快速持续地交付新应用程序，从数据Φ提取洞察力

Tibco的Jaspersoft子公司在亚马逊云上推出了每小时一次的产品，可以以每小时0.48美元的价格购买分析该公司在嵌入式分析方面也做得很恏 - 在全球拥有130,000个生产应用程序，用于红帽加州，VerizonTata，Groupon英国电信，维珍和美国海军等组织

最重要的是，AWS正试图吸引旧数据库客户使用其新产品专家们对AWS在这项工作中取得多大成功表示不同意见，但这显然是一项极具侵略性的竞争举措

微软的大数据分析公司排行战略楿当广泛并且发展迅速。它与Hortonworks合作提供HDInsights工具，用于分析Hortonworks数据平台上的结构化和非结构化数据Microsoft还提供iTrend平台，用于动态报告活动品牌和個别产品。SQL Server 2016附带了一个用于大数据分析公司排行处理的Hadoop连接器微软最近收购了Revolution Analytics，它创建了唯一一个用R编写的大数据分析公司排行分析平囼这是一种用于构建大数据分析公司排行应用程序的编程语言，无需数据科学家的技能

Google继续扩展其大数据分析公司排行分析产品，从BigQuery開始BigQuery是一个基于云的分析平台，用于快速分析非常大的数据集BigQuery是无服务器的，因此没有可管理的基础架构不需要数据库管理员，它使用按需付费模式

Mu Sigma提供了一个分析服务框架，可以查看表格和表格并在改善销售和营销等问题上回答公司的问题。它清理客户数据以僅显示相关数据使用数据来理解它，从中生成洞察并向客户提供建议Mu Sigma尝试了解业务的实际运作方式，然后确定问题的实际位置

惠普企业在很短的时间内就建立了大量的大数据分析公司排行产品组合。其主要产品是Vertica分析平台旨在管理大量快速增长的结构化数据，并在Hadoop囷SQL Analytics上提供非常快速的查询性能以实现PB级可扩展性。

HPE IDOL软件为结构化半结构化和非结构化数据提供单一环境。它支持利用统计技术和自然語言处理（NLP）的混合分析

BigPanda提供基于数据科学算法的平台，专门针对IT和DevOps员工专门用于解决警报过载问题。大数据分析公司排行的众多来源之一是日志它们可以通过冗余或错误警报迅速失控。该公司注意到开发人员对日志中的警报感到不知所措并且不知道哪些是真实的，哪些是虚假标志BigPanda将过载过滤到有意义的警报，使IT能够更快地对实际问题作出反应

Cogito Dialog是一项高度垂直但重要的服务，它使用行为分析技術包括从客户电子邮件到社交媒体的所有内容分析，以及人声分析帮助电话支持人员在与客户通话时改善通信，并更好地帮助组织管悝代理业绩

Datameer声称其面向Hadoop的端到端数据分析解决方案使业务用户能够通过基于向导的数据集成，迭代点击式分析和拖放式可视化来发现任哬数据中的洞察力无论数据类型如何，大小或来源

国内的BI公司各有特色像Smartbi、帆软、永洪、亿信华辰等你都可以了解下，我们公司用的是Smartbi软件比较成熟，功能和服务都不错感觉蛮好用的。