深圳网站制作专业品牌! 联灿科技-深圳企业网站专业服务商 加入收藏
用户名: 密码: 注册
深圳市联灿科技有限公司深圳做网站,找联灿! 深圳网站设计热线 深圳网页设计在线咨询
技术交流
网站设计
网站优化
行业动态
 
深圳做网站,找联灿!
深圳市联灿科技有限公司成立于二零零四年,是家专业提供深圳网站制作深圳网页设计深圳网页制作深圳网站设计深圳网站开发、域名注册、虚拟主机、企业邮箱等服务的正规深圳做网站的公司,迄今已累积客户逾千家,在业界具有相当的知名度,在深圳网站建设市场上树立了良好的口碑。
业精于专,值得您的信赖!
销售热线:0755-26955674
查看更多联系方式
行业动态
百度推易手机背后:将开发跨数据中心存储系统

1月9日消息,百度与戴尔近日联合推出百度易手机,这款手机上每个用户可拥有100G免费存储空间。这也引发了业界对百度大数据存储能力的关注。百度为何能提供100G免费存储空间,未来又将在大数据存储方面做哪些工作。

百度技术委员会理事长陈尚义对腾讯科技解密,称百度成立之初就开发了自己的大数据存储系统。团队云集包括谷歌、IBM、微软等数据存储和处理方面专家。他还透露,百度未来将开发跨数据中心存储系统。

陈尚义介绍,百度每天面对海量数据。每天收集几千亿网页,系统每天都产生海量日志,容量达到百PB级,需要数万台服务器存储,这还不算用户在使用百度产品中自己生成的内容(UGC)和百度客户数据,这部分数据加起来就有几个PB,仅这些数据就比传统企业的大上成千上万倍。并且随着网页资源增加和搜索质量提升,网页和超链数据将随之急剧增加。

百度数据呈现海量、高增长,结构化和非结构化大量并存,记录大小差距巨大,数据一致性强弱不一,数据冷热不均,突发事件常导致数据访问波峰等特点。与此同时,百度业务对数据存储和处理提出极高要求。要求数据高可用、高可靠、高通量、高时效、高并发、高可扩展,要求百度的数据存储能力和处理能力必须以非常简单的方式获得扩容,以降低维护升级的代价。面对这些特点和要求,百度必须开发自己的大数据存储系统。

陈尚义说,百度最早上线数据存储系统时,开源系统还没有发布,还由于开源系统的性能受限、无法充分利用机器的各种资源尤其是新硬件资源、无法为特定的访问模式做优化、缺乏满足工业界的稳定性等诸多原因,百度不能使用开源系统。不仅开源的用不上,而且市场上无现成商业化产品可供百度使用,因为任何一个厂商都没有如此海量、如此复杂的数据。

百度一开始就自主开发了大数据存储系统,用于存储网页和超链、客户信息和用户产品、系统日志等海量数据,支持Table、Pipe、File和KV等数据类型,满足百度业务的流式和触发式计算、文件存储和访问、低延迟、高并发的需求。

陈尚义说,在这些基础上,百度还面向广大网民推出云存储系统,在前不久发布的百度易手机上,每个用户可拥有100G的免费存储空间。除了给每个用户100G的免费空间外,百度易手机上应用和数据,都是这套系统在背后支撑。

百度大数据存储体系

陈尚义还透露,为应对上百PB的数据,满足诸多近乎苛刻的要求,百度采取了一些措施。包括开发网页更新模型,将对磁盘的随机写转化为批量的顺序写,提高数据的写入速度,缩短了网页数据的更新周期,提高搜索引擎等产品时效果性。

此外,还包括对涉及数据存储和访问的各个方面进行全局优化。对访问模式采用数据索引、缓存热点数据、外存预读、IO缓存等技术手段,降低在线访问的延迟,提高系统的吞吐量;未来,百度还将开发跨数据中心的存储系统。


上一篇:2012年最可能火的八大移动互联网业务
下一篇:中国式SNS遭遇黏性危机 聚焦用户需求成转型王道

技术交流 最新上线
网站制作中关于图片优化的15个原则
网站进行改版时应该注意哪些方面?
多方面入手有效提升网站的用户体验
谷歌网站管理员博客:五个常见的SEO错误
揭示黑客在社交网站上的五大攻击手法
Foshan Green Pipe Technology 网站制作完成
色源实业有限公司深圳网站制作完成
Dongguan Yicheng Innovation 网站设计完成
鸿翼能科技有限公司深圳网站制作完成
AGS technology limited 深圳网站制作完成
 
网站首页 | 公司简介 | 新闻动态 | 超值套餐 | 经典案例 | 常见问答 | 技术支持 | 联系方式 | 留言反馈
Copyright © 2004-2017 LINKCHANT TECHNOLOGY LTD, All Rights Reserved. 粤ICP备05037094号
联系电话: 0755-26955674  电子邮箱: sales@linkchant.com
联灿科技: 深圳网站制作公司 | 深圳网页设计公司 | 深圳网页制作公司 | 深圳网站设计公司 | 深圳网站建设公司 | 深圳网站开发公司 | 深圳做网站的公司