|
2024年11月7日小红书将业界最大数据湖迁至阿里云 11月6日,经过一年奋战,小红书已把业界体量最大的数据湖0故障迁上阿里云。据统计,该项目共有1500人参与,迁移数据500PB。据了解,小红书的数据湖存储了过去11年的所有原始数据,包括结构化、半结构化和非结构化数据。随着业务的高速增长,其在线处理数据的需求不断增加,为此去年11月,...
2024年11月6日鞭牛士 11月6日消息,据阿里云公众号,历经一年,小红书已把业界体量最大的数据湖迁上阿里云。迁移至阿里云上后,数据湖可通过多个OSS Bucket支持纳入统一资源池,实现多个Bucket共享资源池内的OSS吞吐及QPS能力。 据介绍,作为中国头部互联网公司之一,小红书月活用户已过3亿,其数据湖存储了过去11年的所有原始数据,包括结构...
2024年11月6日通过此次迁移,小红书不仅提升了数据处理能力,还支持跨部门的协同工作,适应未来更多复杂的商业场景。阿里云的HDFS和DLA元数据技术,实现了无缝对接Hadoop EMR体系,支持元数据的线性扩展,使得小红书在面对海量数据时,能够灵活应对,保证数据处理的高效与安全。 小红书的这次迁云,体现了当前互联网企业在数据处理能力上的不断追求。
2024年11月8日数据湖可用于存储、处理和保护大量结构化与非结构化数据。根据阿里云的公告,这项迁移工程于去年11月启动,耗时一年,动用了来自小红书的1500名员工与阿里团队的协同努力,涉及部门达40多个。 数据湖包含小红书自成立11年以来积累的全部原始和关键数据。为便于理解,1 PB的数据相当于约11,000部4K高清电影。假设每部电影约9...
2024年11月7日11月6日，阿里云宣布，小红书技术团队成功将业界最大数据湖零故障迁移至阿里云。据悉，目前月活用户已经超过3万的小红书数据湖中存储了过去11年的所有原始数据，包括结构化、半结构化和非结构化数据。随着小红书的发展，处理数据难度增大，小红书决定将数据化搬迁到阿里云，该项目从2023年11月开始。彼时，小红书共有1500人...
2024年11月7日就像一群守护数据宝藏的勇士,确保每一份数据都能安全到达目的地。 2.3、顺利完成“搬家”任务 经过双跑阶段的验证后,小红书的数据湖迁徙进入了最后的割接阶段。这个阶段的主要任务是将数据从旧的数据湖完全迁移到阿里云上,完成整个迁徙过程。 这一步骤看似简单,但实际上充满了挑战。因为在这个过程中,需要确保数据的...
2024年11月7日迁移到阿里云后，小红书的数据湖通过多个OSS Bucket支持纳入统一资源池，实现了多个Bucket共享资源池内的OSS吞吐及QPS能力。这样的流控能力在面向小红书复杂业务场景时，可以灵活调配资源，高效利用吞吐性能，降低不同业务租户间的互相影响。简单来说，就是小红书的数据湖现在可以更好地适应各种业务需求，就像一个灵活多变的...
2024年11月6日最近,小红书技术团队完成了一件前所未有的壮举: 一年内,把业界最大数据湖0故障迁上阿里云。 壮举的背后意味着风险和挑战。 作为中国头部互联网公司之一,小红书月活用户已过3亿,其数据湖存储了过去11年的所有原始数据,包括结构化、半结构化和非结构化数据。近年来,随着业务的高速增长,小红书在线处理数据的需求不断增...
