化学试剂厂家
免费服务热线

Free service

hotline

010-00000000
化学试剂厂家
热门搜索:
行业资讯
当前位置:首页 > 行业资讯

微软醉心于Yahoo数据仓库全球最大最忙_新闻资讯_中关村在线种植

发布时间:2020-04-19 19:04:51 阅读: 来源:化学试剂厂家

微软醉心于Yahoo数据仓库全球最大最忙_新闻资讯_中关村在线

微软对Yahoo!的收购持久战可能让很多人都新闻疲劳了。但今天看到的这个关于 Yahoo!的技术新闻还是值得看一下的:Size matters: Yahoo claims 2-petabyte database is world's biggest, busiest。Yahoo!的VP Waqar Hasan 在文中披露Yahoo!的数据仓库当前容量为2PB。

用于分析每月5亿的用户访问行为,每天处理240亿次的事件,号称世界上单个最大、最忙的数据库。

尽管有的数据仓库容量要比雅虎的大。但那些DB或是存储非关系性数据,或是存储的压缩后的原始数据,不能进行即时分析,雅虎之前的也有数百 T 这样的数据。眼下 Yahoo!数据仓库存储的是结构化、可分析的数据。预计下一年可能膨胀到数十 PB。eBay号称数据总量有6PB,不过根据一些消息来看,单个最大的DB只有1.4 PB。

Yahoo!在2005年买了一家叫Mahat Technologies的初创公司(就是Waqar Hasan 操刀的),这家公司以 PostgreSQL数据库为基础,开发了一个新型DB,其特点是 基于列 的而不是 基于行的模式。

不难理解,这样数据写入的速度会慢下来,但是读取的速度会快很多(去年的侠客行上,雷鸣在演讲的时候讲过他在百度的时候做的一个优化的例子。和这个思想非常相似,所以当时我说对我"有启发")。

Yahoo!买了之后,对该产品进行了持续性的改进(内部代号: ELCARO ?) ,比如压缩,并行处理能力加强、优化查询等等特性的添加改进。而针对使用者的接口仍是 PostgreSQL。这应该也算PostgreSQL在顶级企业又一个成功案例。

这么大的数据库并没有采用传统的SMP架构构建,而是采用普通PC作集群(用了不到 1000 台)。很明显这是Share Nothing而不是Share Storage的DB集群。通过上述独特的设计方式,能够对此海量数据进行有效的分析,这是个不小的技术革新,也是与 Google Map Reduce完全不同的计算模式。

让人感慨的是 关于世界上的超大数据库 一文中罗列的数据,现在看起来已经并不惊人了。以前总说信息爆炸,这个时代刚刚来临。

肉文小说排行榜

花卉种植时间

章鱼兰的养殖技术

东风螺养殖方法