小红书将业界最大数据湖迁至阿里云 (小红书将业界改为什么)

文章编号:36078 最新资讯 2024-11-30 小红书 阿里云 大数据

记者获悉,经过一年奋战,小红书已把业界体量最大的数据湖0故障迁上阿里云。据统计,该项目共有1500人参与,迁移数据500PB。

作为中国头部互联网公司之一,小红书月活已过3亿,其数据湖存储了过去11年的所有原始数据,包括结构化、半结构化和非结构化数据。近年来,随着业务的高速增长,小红书在线处理数据的需求不断增加,同时离线处理所积累的历史问题,也会在未来的切换中带来更多成本与风险。

小红书将业界最大湖迁至阿里云 为此,2023年11月,小红书发起迁云项目——计划一年内,把小红书的数据湖搬上阿里云。

迁移至阿里云上后,数据湖可通过多个OSS Bucket支持纳入统一资源池,实现多个Bucket共享资源池内的OSS吞吐及QPS能力。这样的流控能力在面向小红书复杂业务场景,可灵活调配资源,高效利用吞吐性能,降低不同业务租户间的互相影响。阿里云原生HDFS+DLA元数据可实现无缝对接Hadoop EMR体系,支持元数据线性扩展能力,轻松应对小红书数百PB数据下的元数据线性增长。

较于过往业界体量最大的案例,小红书的本次迁移的数据体量更大。

小红书将业界最大湖迁至阿里云

(图片来自小红书官方公众号)

据介绍,小红书的迁云项目经历了三个阶段。第一步,项目组首先解决标准问题,然后根据标准进行治理;第二步,完成治理后,项目在2024年5月正式进入双跑阶段。把数据拷贝到阿里云上,两边同时跑数,验证正确性与及时性;第三步,2024年8月,项目结束双跑,进入割接阶段。阿里云团队全程在现场保障,顺利完成了割接。

2024年11月,小红书迁云项目正式宣告结束。在0故障的情况下,迁移数据500PB,任务11万,参与人数1500人,涉及部门40多个。项目涉及产品之多和数据体量之大均创下业界记录。

版权文章,未经授权禁止转载。详情见 转载须知 。


本文地址: /article/7e4d477ca732a17f9db9.html
全局中部横幅
全局中部横幅
行业企业网站 - 行业企业网站排名 - 网站排行榜

行业企业网站排名,根据网站的综合值按照不同的行业企业网站进行筛选排名结果,通过筛选行业企业网站可以看到每个行业企业网站里面的网站排名优质的网站是哪些

白菜的功效_白菜图片_食材百科_豆果美食

白菜是一种常见的食材,豆果美食食材百科为您整理了白菜的别名,基本信息,适宜人群,不宜人群,搭配禁忌,白菜的功效与作用,白菜的烹饪技巧等信息,让您做出美味的白菜。

花娃·鲜花转单专业平台,全国鲜花订单分派中心,超28w家花店入驻—花娃·鲜花全产业链服务平台

花娃Huawa.com,是国内专业的鲜花转单平台,花店加盟平台,是全国实体鲜花店的网上订单交易中心、鲜花采购批发中心。目前,全国已经有超26w实体鲜花店加盟。花娃为所有从事鲜花销售经营的服务商,提供鲜花订单交易、转单服务。

济南金开辐射防护技术有限公司

济南金开辐射防护技术有限公司位于泉城济南,地理位置优越,交通便利,公司占地十余亩、拥有现代化厂房数千平米是山东地区大型从事射线防护工程、工业探伤防护设计、个人防护用品、手术室净化装修施工建设等工程项目的专业化公司。致力于环保科技事业。公司公司拥有专业的工程师和施工设计队伍、并培养了一批专业的防护施工人员。我们以科技为先导,集各家所长,打造自已的形象,以实实在在的产品,朴实无华的商业风格,立足于当今强手之林。

画册-宣传册设计-产品手册报价-企业样本印刷公司[君本品牌设计]

无锡画册设计公司[君本]是一家从事画册,宣传册,产品手册,企业样册,三折页,易拉宝,展会海报喷绘等设计印刷制作公司,为企业提供全方位的品牌设计与策划,服务超680+企业的高档画册设计经验,彰显实力。

铝合金铸造_铝合金重力铸造_铝合金铸造工艺_无锡市明诺有色金属制造有限公司

无锡市明诺有色金属制造有限公司主要生产铝合金铸造,铝合金重力铸造,离心铸造,铜铸造,铝铸造,铝基轴承合金铸造,双金属铸造,巴氏合金铸件,铝青铜铜板,离心浇注钢套镶浇铜等产品。产品性能可靠,质量稳定,多年来受到国内外众多用户的好评。

不贰社区 - 开启你的学习之旅,让知识的光芒照亮每一个梦想的角落

不贰社区(www.itbuer.com)致力于打造最丰富的学习交流平台,知识就是力量,分享创造价值,开启学习之旅,让知识的光芒照亮每一个梦想的角落!

湛江市市政建设工程有限公司

建精品,铸丰碑。走过六十多载风雨历程的湛江市市政建设工程总公司,在激烈的市场竞争中,市政人民用辛勤、智慧、创新和诚信,着力打造的不仅是一批优良样板精品工程,更是一个具有很强社会责任感和充满经营活力的国有企业。六十多年来,市政人每前进一步都离不开政府的关爱、社会各界的支持,更离不开全体奋力拼搏的市政人。

三维推科技-短网址生成器 | 高效稳定的短链接转换服务

三维推短链接工具:支持批量短网址生成,安全稳定,防拦截,提供专属域名和数据统计服务,是企业级短链接解决方案。

全局底部横幅