运营商内容分发网络(CDN)技术研究与实践.ppt

中国移动集团重点/联合研发项目结题汇报报告,项目名称：运营商内容分发网络(CDN)技术研究与实践 项目编号：,一.开题计划完成情况,目 录,二、主要研究成果（整合后）,承载网络,PIM,MMS,DM,ISMG,手机报,手机电视,通用下载,音乐/彩铃,139邮箱,飞信,各类业务平台,第三方应用,行业应用,家庭应用,中国移动提供日益丰富的业务内容，用户访问量和带宽占用日益增加，如何保证用户服务质量，对业务平台和业务承载网均提出了更高要求随着业务内容向高带宽、视频化发展，如何进行有效分发直接决定了业务的质量与感知，这是运营商面临的最重要挑战,电子商务,现网各业务系统不断垂直扩容组建分发网络，未形成统一通用内容分发能力，造成重复投资和业务融合互通壁垒如何为中国移动众多内容增值业务（内容下载、点播直播、网页浏览等），提供统一化的高效内容分发服务是亟需解决的问题,如何进行内容分发是全业务时代运营商面临的重要挑战,1.1 研究背景及目标,上网用户数量快速发展，高流量用户不断增加,互联网业务大量占用运营商网络资源,互联网资源（网络、内容）不足制约我公司的业务发展,HTTP/P2P成为主流的互联网内容传播方式，占用大量网络带宽，用户流量不断增加，网络运营带来巨大压力,跨运营商网间流量增长快增幅大，跨网业务访问质量低，网间结算费用昂贵，业务运营面临较大的成本压力,中国移动2009年租用电信和联通电路年结算费用达到了近10亿元，江苏移动全年总结算费用达到了1.8亿，占20%，全集团第一,1.1 研究背景及目标,1.1 研究背景及目标,江苏公司做为在全集团较先探索有线宽带业务的公司，与中国电信和中国联通等运营商相比，我省在出口带宽的压力和互联互通出口异网流量结算费用方面感受到的压力也较大。我们拟通过此项目研究基于分布式缓存的通用型 CDN网络的关键技术和系统架构，研究对P2P、HTTP等大流量多应用系统的内容分发和缓存，完成基于此类应用的流量调度机制，以期通过基于分布式缓存的通用型CDN分发调度策略疏导各地市之间的P2P等流量，提升用户感知的可行性，努力将流量引导到省内，降低省出口流量及省内异网结算流量费用。以解决服务质量和业务质量问题。,研究目标：,1.2 主要研究内容及分工,1.3 开题计划完成情况总结,课题分工、研究时间情况,研究成果完成情况,一.开题计划完成情况,目 录,二、主要研究成果（整合后）,通过智能DNS系统、分布式缓存内容分发技术及架构的研究，最终形成通用型内容分发架构。,2.1 课题的解决方案,通过不同内容分发及流量调度机制实现各种流量的智能疏导,Internet,省IDC中心,用户,CMNET骨干,CMNET省网,引入互联网节点,P2P及WEB缓存平台,中国移动网外,蓝汛CDN网络,省IDC中心,蓝汛CDN节点,省内DNS,蓝汛DNS,DNS智能转向,蓝汛CDN可加速网站外部节点,蓝汛CDN不可加速网站外部节点,中国移动网内,通过智能DNS系统完成HTTP流量的智能内容疏导与分发。,2.1 课题的解决方案,通过智能DNS系统及分布式缓存平台实现P2P流量的智能内容疏导与分发。实现缓存与IDC引入网站节点流量的分发调度协同机制。,Internet,省IDC中心,用户,CMNET骨干,CMNET省网,引入优酷网节点,P2P及WEB缓存平台,优酷网外部节点,优酷网智能DNS系统,中国移动网外,省内DNS,中国移动网内,通过不同内容分发及流量调度机制实现各种流量的智能疏导,2.1 课题的解决方案,基于分布式缓存的CDN逻辑架构设计（管理子系统、重定向子系统、调度子系统、缓存子系统）业务在接入层平滑接入，保证网络稳定性和灵活性以P2P技术为代表的网络计算技术为基础向通用CDN架构的演进核心和内容中心间、内容中心和服务节点间内容层面的P2P化，将提高网络整体效率，节省资源，节约成本，提高可扩展性，并具备良好容灾能力,新型分布式系统架构和网络计算技术研究,用户引导（内容路由）结合DNS重定向、应用层重定向、移动定位技术的智能访问调度针对新架构的负载均衡机制内容分发和内容存储技术PUSH和PULL结合的智能分发-基于热度的智能分发和智能删除算法海量数据的高性能网络分布式存储和缓存技术不同节点间的P2P传输技术与分发和存储策略的融合-切片和部分缓存算法（P2P）,通用型CDN核心算法技术研究,2.1 课题的解决方案,缓存子系统是整个系统的重要部分，一般会运用多种智能缓存技术，将互联网热点资源缓存下来。,缓存子系统（CSS）,调度子系统运用负载均衡、缓存记录搜索、热点内容管理调度等技术将用户的访问请求直接引导到缓存，同时其对多级缓存进行有效地负载管理。,调度子系统（DSS）,包含流量采集分析模块和重定向模块这两个子模块。采集流量从中解析出用户请求（P2P、HTTP、FLV等），对用户请求的进行重定向处理，引导用户优先获得本地流量。,重定向子系统（RSS）,通过设置各种参数，提供多种管理策略，保证系统按照既定策略工作，同时可对运行状态和各种数据进行监控。,管理子系统（MSS）,基于分布式缓存的CDN逻辑架构,2.1 课题的解决方案,关键技术一：文件唯一性判定算法,在互联网上，内容相同的资源经常会出现在不同的网站上，而且文件名也不一样。如果按照文件名和URL等信息来定位资源，将会造成内容相同资源的重复下载，浪费宝贵的互联网出口带宽。调度系统能够准确的判断互联网资源的唯一性，避免重复缓存带来的带宽和缓存空间的浪费。其实现原理如下图所示：系统自动将文件进行分片并预读取每片的前面几个字节，然后用HASH算法获得一个唯一标识该资源的hash值，确保缓存资源的唯一性。,2.1 课题的解决方案,关键技术二：负载均衡调度算法,调度子系统对部署的多台缓存子系统设备进行有效的负载管理。比如当部署了多台HTTP缓存设备后，调度子系统将把用户的HTTP下载请求在多台缓存设备上进行有效的负载均衡管理。,调度子系统中，每个资源都有自己的Content Hash。每台缓存子系统负责一部分Content Hash段的资源，如缓存子系统1#负责Content Hash段从A到F的，缓存子系统2#负责Content Hash段从G到K的，以此类推。当某个用户请求下载Storm2009_558这个资源时，其Content Hash计算为B0084cc7b224bbd9f0d13ca22bdf731d，所以此请求被转到缓存子系统1#进行服务。,2.1 课题的解决方案,关键技术三：内网P4P调度算法,以迅雷协议为例，标准迅雷用户进行下载过程中，服务器在返回Peer-list时，并不能判断哪些peer属于内网应该优先互相传输，而是随机的将列表发送给客户端，列表中既包含外网的用户，也包含内网的用户。部署采用P4P技术的缓存系统后，调度系统就会将内网中保存有相同内容的peer地址优先传送给请求用户，而不需要向外网peer进行请求。通过优先调度内网用户之间进行数据传输，可以达到降低对骨干网的传输压力，并提高文件传输的性能。,Internet,CMNET省网,缓存平台,2.1 课题的解决方案,各类不同的调度策略,某个资源达到热点时，DSS将选择一台CSS设备去外网下载该资源，选择的依据主要是根据各设备的任务数多少进行调度。,外网资源进站调度,缓存资源出站调度,域间资源调度,域内资源调度,用户要访问的资源已有缓存时，调度中心将通过RSS重定向到相应缓存服务器实现缓存加速。如果区域内有多个CSS都含有该缓存资源，调度中心依据负载均衡原则进行调度。,某资源达到热点时，调度中心首先会检索其他区域是否已有缓存，若其他区域都没有，则执行进站资源调度策略；若其他某节点已有缓存，则依据一定的调度策略实现区域间的资源迁移，保证整个系统同一份资源不需要去外网下载2次。,在同一个区域（节点）内，如果某资源下载量非常大，由于下载的客户很多，为了实现负载均衡，将对这些资源进行区域内的迁移，在该区域内不同CSS设备上分别保存一份，DSS将根据这些记录，灵活调度对相同资源的并发访问用户的重定向地址，采用轮巡机制保证整个系统的高效服务。,2.1 课题的解决方案,多级架构协同,分布式缓存,智能化重定向,P2P、P4P技术应用,与流控协同,松耦合架构,依托于分布式缓存，实现主动内容和被动内容的双向分发,根据用户类型、业务类型实现用户流量重定向，达到网络流量的优化整形,采用P2P、P4P技术来提高分发效率，降低网络负载,通过与流量监控和分析系统的协同，实现全方位的流量管控体系,通过提炼标准化网络组件逐步实现CDN向松耦合架构的平滑演进,根据业务特性采用不同的逻辑分发架构,2.2 课题实施成效和意义,通用型CDN,实施效果：,2.2 课题实施成效和意义,全省出口宽带及利用率分析,目前江苏公司省网到骨干的带宽为40G，在10月前系统实施前，全省的出口带宽的利用率已达到98%。出口拥塞严重。在11月系统实施后，全省的出口带宽的利用率已达降到73%。出口拥塞严重的情况缓解。实施效果分析：由于通过基于分布式缓存的通用型CDN的加速，实现了对P2P、HTTP等大流量多应用系统的内容分发和缓存，完成了基于此种应用的流量调度机制，使得大量P2P和HTTP下载和在线视频流量被控制在了省网内，为省出口流量及至互联互通出口流量的下降做出了较大的贡献。省出口带宽节省流量约10G，按目前江苏公司出口流量50%至异网进行测算，此实施可节省异网结算流量约5G，按每月120万/G的结算费用测算。全年可节省结算流量费用约7200万元。,2.2 课题实施成效和意义,全省出口流量情况分析,实施效果分析实施后省出口P2P流量占比从69%下降到41%，但同时HTTP流量占比从16%上升到了26%，其他应用占比从15%上升到了33%。经分析造成此现象的原因主要是在原出口中由于大量的P2P应用在吞噬带宽的同时挤占了其他应用的带宽，在使用的基于分布式缓存的通用CDN加速后，大量的P2P应用流量留在了省网内，使得原来被挤占的HTTP和其他应用流量被释放出来，出现了“此消彼长”的现象。,实施前全省的39.2G流量中，P2P类应用流量占69%,HTTP类应用流量占16%,基他类应用流量占15%。出口拥塞严重原因主要是全省有线宽带接入用户的P2P类应用流量和HTTP类应用流量占用了全省出口的85%带宽。,实施后全省的29.1G流量中，P2P类应用流量占41%,HTTP类应用流量占26%,基他类应用流量占33%。全省有线宽带接入用户的P2P类应用流量和HTTP类应用流量占用的全省出口的带宽从85%下降到了67%。,2.2 课题实施成效和意义,全省P2P流量情况分析 一 省出口P2P流量总体情况,实施效果分析从实施前后效果来看基于分布式缓存的通用CDN加速后，不会改变P2P中两类的流量占比。原因是P2P流量中各类应用的占比是由用户使用的行为决定的，通过基于分布式缓存的通用CDN的加速没有针对任何应用进行特别优化，所以不会改变用户使用各类P2P应用的习惯。3:7的占比也是目前用户使用P2P应用行为习惯的真实反映。,实施前全省P2P流量中主要为两类应用，一种是P2P下载应用，一种是P2P在线视频。这两种应用分别占P2P流量的29%和71%。,实施后全省P2P流量中仍主要为这两类应用，并且P2P下载应用和P2P在线视频两种应用分别占P2P流量的32%和68%,2.2 课题实施成效和意义,全省出口HTTP流量情况分析,实施效果分析从实施前后效果来看基于分布式缓存的通用CDN加速后，由于对HTTP的下载和在线视频两种应用的实际效果有所提升会刺激用户的使用，所以这两种流量占比有少许上升。但这两类应用流量的占比上升仍然不会改变HTTP各类应用的流量占比。原因是HTTP流量中各类应用的占比是由用户使用的行为决定的，通过基于分布式缓存的通用CDN的加速没有针对任何应用进行特别优化，所以不会改变用户使用各类HTTP下载及在线视频应用的习惯。3：5：2的占比也是目前用户使用下载类、视频类及其他HTTP应用行为习惯的真实反映。,实施前全省HTTP流量主要以下载类应用和在线视频类应用为主，分别占流量中的31%和51%。其他HTTP应用以WEB为主。,实施后全省HTTP流量仍主要以下载类应用和在线视频类应用为主，分别占流量中的32%和52%。其他HTTP应用以WEB为主。,2.2 课题实施成效和意义,全省用户宽带业务投诉的情况分析,实施效果分析由于通过基于分布式缓存的通用型CDN的加速，实现了对P2P、HTTP等大流量多应用系统的内容分发和缓存，完成了基于此种应用的流量调度机制，使得大量P2P和HTTP下载和在线视频流量被控制在了省网内。在省到市宽带的充足的前提下省内用户无需出省就可获取相关内容，有助于提高客户满意度和业务使用感知。,实施前全省移动宽带用户关于P2P和HTTP下载及在线视频网速慢的投诉占个人宽带投诉量的比例为23%。,实施后全省移动宽带用户关于P2P和HTTP下载及在线视频网速慢的投诉占个人宽带投诉量的比例为3%。,2.2 课题实施成效和意义,2.3 总结,具体如下：通过本课题验证了目前通过基于分布式缓存的通用型CDN实现P2P、HTTP等多种内容分发和调度机制的可行性。通过本课题验证了目前通过基于分布式缓存的通用型CDN实现P2P、HTTP等多种内容分发和调度的对出口流量及互联互通流量下降的效果。通过本课题验证了基于各类应用流量的两级分发的内容调度机制的可行性和可用性，并在此基础上进一步优化了相关内容调度机制和算法。通过本课题验证了基于HTTP缓存的负载均衡调度算法和基于P2P缓存的内网P2P优先调度算法。通过本课题验证了外网资源进站、缓存资源出站、域内资源、域间资源调度策略的有效性。,通过基于分布式缓存的通用型CDN的加速，实现了对P2P、HTTP等大流量多应用系统的内容分发和缓存，完成了基于此种应用的流量调度机制，使得大量P2P和HTTP下载和在线视频流量被控制在了省网内，为省出口流量的下降做出了较大的贡献，节省了大量的异网流量结算费用。,基于分布式缓存的通用型CDN的内容分发和缓存机制可行且有效,26,谢谢大家！,