搜狐云发展中DomeOS的开发与Docker的应用

所属分类: 建站经验 / 网站运营 阅读数: 0
收藏 0 赞 0 分享

2011年初,为解决搜狐内部各部门海量数据存储和数据在线快速读取的问题,北京研发中心利用半年的时间,汇聚国内多位存储方面的顶尖人才自主研发了一整套分布式存储系统,其中包括针对海量小文件的 BFS 存储系统,针对大文件的 Blade Store 存储系统,以及针对元数据的 Blade Cube 存储系统。2012年3月,搜狐云分布式存储系统在经历了无数次测试和优化之后,正式在搜狐内部上线。随后,搜狐内部的绝大部分数据逐渐迁移至搜狐云服务,逐渐覆盖包括搜狐网站,搜狐汽车,搜狐焦点,搜狐新闻客户端,搜狐视频,搜狐相册等产品在内的几乎所有的搜狐内部的服务,实现了北京研发中心最初的承诺“one sohu one storage”。搜狐云服务在公司内部稳定运行的两年间,伴随着公司数据量的增长,其性能和稳定性得到了长期的验证。
与此同时,国内云计算市场虽然巨头林立,小团队丛生,但始终没有令企业满意的云存储服务。对于数据规模较大的企业来说,数据存储的需求极为强烈,数据的安全性,数据的读写性能都直接关系着产品体验,但数据存储的技术门槛又相对较高,导致好多公司每年都要在数据存储上做大量的投入,但效果却不尽如人意。虽然目前市场上有很多优秀的开源存储系统,但由于企业使用环境的差异,在开源系统的重复改造上通常也会浪费掉大量的人力和物力,而且伴随着业务量的增长,开源系统的难以预测性也给企业的数据带来了巨大的隐患。
正是看到国内市场对企业级云存储的强烈需求,搜狐云服务于是开启了从对内服务向对外服务转型的大门。由于通常的开源存储系统的性能在不同的使用环境下有很大的差异,并不能为企业快速解决存储难题,消除安全隐患,所以从一开始,搜狐北京研发中心就没有止步于仅将存储技术共享,而是致力于为客户提供一站式存储解决方案,让客户可以简单便捷的将数据托管至搜狐云服务,由搜狐来为客户的数据安全买单,完全省去客户“重复修复轮子”的烦恼。搜狐云服务的存储设备,全部托管在国内五星级机房,同时在数据传输的各个环节配备有完整的监控系统,能够保证客户的数据异常在第一时间被发现,第一时间恢复,保障客户业务的稳定健康。
为了给企业解决更多的难题,搜狐云还精心打造了国内最专业的云端图像处理系统,帮助企业轻松应对多屏时代的多图烦恼。搜狐云服务的实时图像处理功能,能够帮助企业节约近50%的带宽成本,同时能够提升网页访问速度,给终端用户带去更为快速流畅的体验。此外,搜狐云服务还与国内多家优质的云分发(CDN)平台进行了深入的合作,客户可以从搜狐云服务的平台直接接入多家公司的云分发服务,为网站带去最优质的体验。

搜狐企业级业务编排运维管理系统——DomeOS
DomeOS的技术团队拥有多年的云存储经验,国内领先的图片处理技术以及CDN分发经验。团队经营的主打产品“搜狐云台”拥有业内顶尖的图片压缩技术,为搜狐内部产品和几十家外部企业级用户带来了极致的用户体验。搜狐云台除了可靠地云存储服务、顶尖的图片处理技术,还有人脸检测、黄反图识别、广告图识别等方面的研究。
20151217110952701.png (478×356)

搜狐云台陈伟表示“我们是帮人解决问题的,存储和图片的需求通过搜狐云台得到了很好的解决,但是我们也发现了流程中很多新的问题。”
传统运维模式的问题
  陈伟在GTIC大会会场和大家分享了搜狐云台团队在多年云存储开发运维过程中遇到的问题。
  1. 随着业务快速发展,服务器环境越来越复杂,各种紧急上线,技术债务,临时版本的程序,脚本等,可能长期得不到清理,最终引发问题
  2. 技术平台快速发展,管理依赖是件很麻烦的事,而且影响运维和开发的沟通
  3. 环境统一问题,经常导致上线失败。开发、测试、运维协作困难。
  4. 监控体系不断重构,难以满足需求
  5. 规模小无需自动化,而规模大后再自动化又容易引起问题。
  6. 十分依赖经验丰富的运维人员
Docker的优势和问题
  陈伟总结docker的优势有:
  1. Docker的先进理念:“build、ship、run”。把应用的构建、分发、运行的流程标准化、规范化。
  2. 私有的registry天然就是一个分发仓库,名称+tag的方式也很有利于版本管理,回滚等。
  3. 单进程模型重新梳理了应用的意义。一个应用天生就应该是一个进程为单位的单元。
  4. docker的资源控制和自包含性综合起来,成为了一个很有前景的功能,更加适合使用动态的资源调度的方式来部署服务。
  Docker带来曙光的同时,陈伟表示,docker作为一个新的技术,仍然存在以下问题:
  1. 目前还没看到十分令人满意的网络模式
  2. 传统应用不一定能很好地迁移到docker中
  3. 开发人员有较大的学习成本,需要较长时间适应docker
  4. Docker版本迭代较快,会带来不兼容等问题,而升级docker又需要把上面的服务停掉
  5. 在国内做开发都会遇到的问题,比如:墙、构建性能、分发性能等等
20151217111017243.png (482×360)

陈伟还对比了docker和虚拟机的特点,他着重强调了一点:虚拟机无关应用,是基础架构层面的事情,开发人员不关心这一点;而docker是应用层面的,开发运维的思路都会随之发生变化。
  DomeOS设计
  DomeOS的最主要的理念是“开箱即用”。陈伟表示:“我们不希望DomeOS是一个和我们自身业务结合很紧密的东西,我们把它定位为一个纯工具。”DomeOS团队希望今后的各个使用者能够轻松上手,开箱即用。
  除了开箱即用,DomeOS还具有:开发自运维、全流程全视图、追求效率和利用率的特点。
20151217111034176.jpg (483×358)

DomeOS主要的功能有:集群管理、开发测试、发布回滚、运维监控和应用商店。
  集群管理改造自kubernetes,使用了pods等概念。多数据中心统一管理,自动化调度不超出数据中心范围。此外,DomeOS区分生产环境和开发测试环境,并且有权限要求。
  持续集成是DomeOS的一个创新点,没有使用jenkins等工具,从头设计。持续集成功能使用github、gitlab的API设置hook,获取代码。在开发过程中搜狐云台的技术团队使用了搜狐云台的scs云存储服务,提升了开发效率和服务性能。
  应用商店是DomeOS另一个具备鲜明的docker理念的功能。它能够把一个复杂的分布式系统描述清楚,并能够在可视化界面上进行配置,一键部署。此外,能够实现测试环境直接搭建,生产环境依赖注入,大大提升测试和生产的效率。此外,陈伟还和与会嘉宾分享了DomeOS的网络和磁盘相关的特点以及开发过程中所遇到的问题。
  DomeOS还在持续迭代和实践的过程中,搜狐云台团队希望docker的爱好者和从业者能够关注DomeOS,希望与更多的docker团队交流分享。

搜狐云服务的未来
比起单纯的提供云存储服务,搜狐云更希望能够为打造国内健康的云生态环境贡献力量。未来,搜狐云服务将与业内其他的云计算相关产品展开更为丰富和深入的合作,致力于建设完整的云计算生态合作群体,目前,搜狐云已经与国内多家ISV(独立软件开发商)和SI(服务集成商)达成共识,将携手为客户一站式解决公有云的需求。

更多精彩内容其他人还在看

浅谈活动运营四步全解:拆解 策划 实施 总结

产品岗在很多公司就是螺丝钉样的存在。不仅JAVA、UI、Axure得手到擒来,文案、手册、幻灯片还要充满情怀,连运营活动都似乎是产品的分内工作了 T_T   那么作为初级产品要怎么运营好一个活动呢?分享一下。前阵子又被老板约谈小(hui)黑(yi)屋(shi),针对网站... 查看详情
收藏 0 赞 0 分享

网站空间在网站建设中的重要作用

建设开发一个网站时,不仅仅要提前申请好网站域名,而且还要在构架网站时,对于网站空间做好安排,并且在对网站的需求进行描述时,要描述清楚对于网站运营的具体要求,这样才能更好的安装网站空间,而网站空间的安排,则是对于网站在后续的运营过程中起到非常关键的重要作用。网站域名的申请在网站建设... 查看详情
收藏 0 赞 0 分享

怎么设计网站才能捉住用户眼球呢?

  企业网站面向的对象是用户,企业可以借助网站的力量来宣传产品,推广公司形象,为企业的发展提供有效的展示平台,扩大销售的渠道,节约运营成本,同时也为用户提供了有效的购买途径,增加了买卖双方的便捷性。但是企业想要提高用户对网站的认可度,提高网站的吸引力,这就对网站建设的有较高的要求... 查看详情
收藏 0 赞 0 分享

网站开发需要的技术人员都有哪些

对于一些大型企业来讲,拥有属于自己的网站开发人员是非常有必要的,要知道在大型企业的运营过程中,对于各项网站的需求量也是十分巨大的,大到对企业的宣传效果,小到利用网站提高相关的工作效率,这些都是十分有必要的。而如果将这部分网站开发的事项交给外部网站开发公司来做,往往又达不到企业的要... 查看详情
收藏 0 赞 0 分享

建设网站如何选择空间 注意事项有哪些

在这个各种信息都可以在网上浏览的时代,各种优秀的网站也层出不穷。但是一个网站的建立,不仅仅需要网站的设计以及域名的选择,还需要一个空间。网站就像我们的家一样,同样需要一个像房子一样的空间来装下我们的家具,也就是网站需要发布呈现的内容。今天就为大家介绍一下怎么选择网站需要的&ldq... 查看详情
收藏 0 赞 0 分享

浅谈网站测试的重要性 保障网站的稳定

在日常的工作以及生活当中,我们每天都浏览成千成万的网站,而且为了获取不同的信息,每天浏览的网站都不相同,而且在互联网快速发展的进行,我们的日常与生活已经完全离不开对网站的需求,因此我们在浏览一个网站时,这个网站的稳定性以及兼容性就显得非常重要网站不稳定的情况我们在浏览网站时,在浏... 查看详情
收藏 0 赞 0 分享

搭建外贸网站平台需要注意的事项

对于一个外贸公司来说,网站是最好的展示平台,而因为外贸公司的业务往往不同于普通的内地公司,所以在搭建网站上也有一些不同。那搭建外贸网站平台应该注意哪些呢?对此,我们和几个有着多年网站建设的工程师聊了一下,建设外贸网站平台最主要的是注意以下几个方面:  一、网站的语言  一般的情况... 查看详情
收藏 0 赞 0 分享

建设手机网站和电脑端网站有何不同

想要建设开发一个优质的手机网站,那么首先就要对现今社会行业中手机网站的发展有所了解,并且要有高质量的建站技巧,这都是必不可少的因素。而在建设手机网站的过程中,许多人会好奇,不同平台手机和电脑在建立网站时虽然流程基本不错,但也有着很多不同,那么有哪些不同之处呢?一、平台不同电脑端的... 查看详情
收藏 0 赞 0 分享

新站长在建站时容易踏入的四大雷区

  随着互联网迅速发展,网站建设也要比以前容易的多。因为网上有很多开源代码,只要下载使用就可以建一个很简单的网站。所以,很多人想尝试也做一个网站,挣点零花钱。但是,由于不少新手站长并不懂得网站运营的禁忌,只是随心所欲建站,结果导致自己的网站几个月都毫无起色。所以,今天就来给新站长... 查看详情
收藏 0 赞 0 分享

老网站改版:内容与结构全部更换怎样才可以降低对搜索引擎的影响?

  最近收到好多站长朋友的询问,关于老网站改版,内容与结构全部更换,怎样可以降低对搜索引擎的影响?下面是我之前操作的方法,供大家参考:  参考:  1.先申请各个搜索引擎的闭站保护功能;  2.老网站死链提交;  3.做好404(不要直接链向首页,一定做个404页面,写个链接指向... 查看详情
收藏 0 赞 0 分享
查看更多