业界最大数据湖0故障迁上阿里云!数据量达500PB
时间:2024-12-23 13:56:31 来源:告老还家网
11月6日消息,业界今天阿里云宣布,最大障迁小红书技术团队近日完成了一项业界前所未有的数据上阿数据壮举,将业界最大数据湖0故障迁移至阿里云。湖故
作为中国头部互联网公司之一,云量达小红书月活用户已超过3亿,业界其数据湖存储了过去11年的最大障迁所有原始数据,包括结构化、数据上阿数据半结构化和非结构化数据。湖故
随着业务的云量达高速增长,小红书对在线处理数据的业界需求不断增加,同时离线处理所积累的最大障迁历史问题也提高了切换的难度。
2023年11月,数据上阿数据小红书共有1500人参与迁云项目——计划一年内,湖故把小红书的云量达数据湖搬上阿里云,彼时即便是业界体量最大的案例,也远小于小红书的本次迁移。
2024年5月,项目正式进入双跑阶段,作为切换到正式环境前最后的测试,是稳定性最大的保障。
在这一阶段,团队需要解决的问题数不胜数,每周平均新增500多个问题。
在阿里云团队的全力保障下,小红书技术团队顺利完成了割接,没有发生任何一个P2及以上故障。
2024年11月,小红书迁云项目正式宣告结束,在没有故障的情况下,迁移数据500PB,任务11万,参与人数1500人,涉及部门40多个。
相关内容
- ·英媒:若热刺无缘欧冠罗梅罗可能离队,皇马欣赏他
- ·崔康熙:对阵梅州是否轮换确实很纠结,末轮不可能大幅度轮换
- ·[赛后采访]重庆狼队全员:他们以为击败我就是终结,而我必归来将之改写
- ·记者:拿到3分让国足和伊万喘口气,最重要的是我们还有希望
- ·[流言板]杰威场均20+5+5,生涯第三年此数据的15名球员13位进全明星
- ·崔康熙:对阵梅州是否轮换确实很纠结,末轮不可能大幅度轮换
- ·周定洋:本赛季最后一轮会竭尽全力,希望在主场有个漂亮的结尾
- ·[流言板]狼队菲菲发文:输的那晚,有个孩子在我房间沙发上默默流泪
- ·拜仁面对药厂连续5场不胜,近3年7次交手仅1胜
- ·罗马诺:曼联和葡体已准备好阿莫林转会文件,未来几天将完成签署
- ·[流言板]及时调整!威金斯全场出战31分钟,14中6得到16分2板
- ·博主总结国足本场优点:无球逼抢强度高补防积极相互鼓励不埋怨
- ·微星AM5主板更新X3D模式 R7 9800X3D性能提升最多20%
- ·[流言板]稳定发挥!兰德尔全场15中8,三分4中1,得到22分10板3助攻
- ·团结一心,全力以赴👊 深圳新鹏城完成赛前官训⚽️
- ·[流言板]活塞本赛季胜场数依旧多于雄鹿+76人两队胜场数
最新内容
推荐内容