那么多视频要上传到网站上网站是怎么容纳下来的

看你说多少G硬盘,我这个强迫症就受不了,普及下知识,1MB=1024KB,1GB=1024MB,1TB=1024GB,1PB=1024TB,1EB=1024PB,1ZB=1024EB,1YB=1024ZB,1BB=1024YB,1NB=1024BB,1DB=1024NB!很多大型网站是有自己独立的机房,面积不等,有的可能只有一个卫生间那么大,有的有好几个足球场那么大。
这些机房专门放有存储功能的服务器;
很多人用的网盘,你可以理解成你租用这个网络机房里面服务器上的硬盘。
给你看看谷歌的机房,这只是一角!
参考:
随着科技发展,各类资源生产出来,那作为网站主,这些视频是怎么容纳的呢?
海量硬盘作为比较大型的企业网站,例如爱奇艺、腾讯等公司,都有专有机房。
这些机房内拥有大量硬盘。
毕竟相比较来说,硬盘的价格实在是太低了。
想想我们只需要四百块钱就能购买1T的硬盘资源。
对于大型公司来说,完全有准备大量硬盘的实力。
压缩在用户上传文件或者视频之后,一般会有专门的转码压缩服务器。
用来把上传的文件进行压缩。
所以有的时候你可能看到,自己上传的高清视频,在进行查看的时候,清晰度并不是很高。
这是因为进行压缩的效果。
去重在真正保存到硬盘之前,需要对上传的文件去重。
检测硬盘中是会否已经有相关的文件了。
如果有的话就直接指定过去了。
这也就是为什么很多网盘上面,会有秒传的功能。
命名好几G的文件,几面就能上传成功就是这个原理。
纯手写,如果对你有帮助,麻烦在下方点个赞哦~~
参考:
数据说话太枯燥,为了更直观,我讲一个故事。
我几年前在新疆,有人说Baidu准备在新疆背部建一个数据中心存储它的数据,因为那儿气温低,可以节约不少电费。
你大概估计一下这是多大的数据量,让一个千亿级的企业冒着民分的危险,跑那么远去建一个数据中心就为了节省电费。
下图是数据中心概念图,里面大部分是存储介质,你大概感受下,什么是海量信息。

参考:
估计象谷歌,youtube这样的网站,他们自己人也搞不清楚自己有多少台服务器,多少G硬盘,据说谷歌全球有几百万台服务器,每台服务器按1TB的硬盘,就是上百亿G的存储容量了,谷歌一刻不停的把全球的网站收录到自己的服务器,youtube每分钟都有大量的视频上传,说是数百小时的视频,差不多是百G大小,形象来说普通家庭能用十年的硬盘,它们分分钟就满了。
当然对这样的大公司来说,硬盘不值什么,每天用坏的都不知道多少,据说美国有个云服企业,在因为天灾硬盘供货不足,到处买硬盘,加钱扫货。
所以,说上千亿G,也不是什么事。

参考:
分为好多中,一种是服务商自己建立储存服务器,一种是服务商租用存储服务器,一种是服务商将用户的PC和自己的服务器合并当做存储服务器,说说第三种吧,第三种是新式的组合,比如一部大话西游,最开始服务商是存储在自己的服务器的,当10个用户下载后,服务商将用户的资源建立成链接库,其他用户再下载的时候服务商软件直接优选宽带从空闲用户PC端下载,这样服务商的存储就节省下来了,当然这种模式并不成熟,目前已知360在这样做。

参考:
视频网站为了存储用户上传的大量视频,一般会采取以下措施一、建设海量存储的数据中心顶级的视频网站一般都建有超大规模的数据中心,拥有几十万到上百万台服务器,分布在全国各地甚至世界各地,这些数据中心的存储容量是海量的。
腾讯公司董事会主席兼首席执行官首马化腾于2016年5月25日在贵州数博会开幕式上发表演讲公布:过去18年,的数据运营建立起来的整个数据存储中心,存储总量已经超过1000个PB,相当于15000个世界上最大的图书馆(美国国会图书馆)的存储量这是什么概念呢,1PB=2(10) TB=1024TB。
1000PT的容量约等于100万个T,约合10亿G。
每块硬盘2T也要至少需要50万块硬盘。
如果采用RAID 5组成磁盘阵列的话至少需要150万块2T的硬盘。
二、视频压缩技术视频网站播放的在线视频的码率经过高度压缩,用户上传的高清视频一般都会用h.265压缩成统一该网站上视频的格式(相对兼容的如MP4和FLV)。
看似高清视频,实际上压缩后码率很低。
例如优酷的标准:720P 1.5M 1080P 3.5M。
压缩后视频容量大大降低。
既减少了存储空间的要求,又降低了传输带宽。
一般手机拍摄的1080P的高清视频(H.264)码率至少在15M以上,有的手机在50M以上,上传压缩后体积只是原来的1/4。
如果压缩成720P,体积只有原来的1/10。
三、视频检测去重复一般用户上传视频后,系统会自动计算一个哈希值,如果多个用户上传相同哈希值的视频,系统则真正存储的只有一个视频,其他用户的视频都指向这个视频的实际存储地址。
这也是云盘的存储方式。

参考:
首先说下YouTube和youku就是不断的加硬盘存起来。
花好多钱。
UGC永远是有热点的,热点会在内存里,甚至分发到离你家很近很近的机房,这样速度会很快。
冷数据不会删,硬盘不读其实成本不高,瓶颈是同时读很多数据。
在CDN上缓存热点数据,方便分发。

参考:
现在的瓶颈不是硬盘存储,白菜价的硬盘,内存也不贵,cpu也便宜,蛋疼的是硬盘读写速度,再大的文件在数据库只是几十个比特的引用记录来记录文件的路径id所属用户id什么的,你要读取这个文件首先要读取这条记录然后鉴定权限然后返回文件地址,文件多了没关系,加服务器嘛,怕啥,记录多了查起来就慢,蛋疼
参考:
网站就是容纳了啊,储存在各家的服务器上。
但是服务器硬盘和电脑硬盘就是不同的。
确实要装很大的硬盘,加起来几千亿G也不是没可能。
这只是对电脑来说很夸张,对服务器硬盘来说挺正常的。
至于高清视频,以前高清不普及只是宽带限制而已。
宽带就是公路,服务器就是仓库,高清占了两个仓库,货物比较多,公路运输量达不到流畅运输的效果。
后来提速了,公路宽了,车多了,一次搬空两个仓库也没问题了,自然进入了“高清时代”。
当然,建仓库需要成本,那怎么办?
收费,vip。
对于视频网站来说,只是多架服务器而已。
(b站建站初是支持用户上传视频的,没几天就扛不住了,可见视频网站成本还是很高的)。
活下来的都是玩得起的,玩不起的都倒了。

参考:
百度已经在山西阳泉建了云计算中心了,占地2000多亩,基本都是存储,你想想吧,现在二期快起了。