过往记忆大数据

腾讯内部每日都需要对海量的游戏营销活动数据做效果分析，而活动参与人数的去重一直是一项难点。本文将为大家介绍腾讯游戏营销活动分析系统——奕星，在去重服务上的技术思路和迭代方案，希望与大家一同...

摘要：本文介绍了百信银行实时计算平台的建设情况，实时数据湖构建在 Hudi 上的方案和实践方法，以及实时计算平台集成 Hudi 和使用 Hudi 的方式。内容包括：背景百信银行基于 Fli...

随着数字化业务的扩张，企业的数据量呈现爆发式增长，作为 “数据智能” 中必不可少的一环，数据仓库已经成为企业数据发展到一定规模后必然提供的基础服务之一。不过，都 2021 年了，你还在使...

导读：本文主要介绍京东在构建OLAP从无到有各环节考虑的重点，由需求场景出发，剖析当前存在的问题，并提供解决方案，最后介绍OLAP的发展过程。▌需求场景1. 京东数据入口① 业务数据：订单...

导语 | 后台服务架构经过了集中式、SOA、微服务和服务网格四个阶段，目前互联网界大都使用微服务和服务网格。服务从集中式、中心化向分布式、去中心化不断演进，服务也变得更灵活，能够自动扩缩容...

文章作者：熊峰，腾讯大数据研发工程师。一、Spark 介绍及生态Spark是UC Berkeley AMP Lab开源的通用分布式并行计算框架，目前已成为Apache软件基金会的顶级开源项...

ZooKeeper 是一个分布式协调服务，由 Apache 进行维护。ZooKeeper 可以视为一个高可用的文件系统。ZooKeeper 可以用于发布/订阅、负载均衡、命令服务、分布式...

背景HDFS 集群作为大数据最核心的组件，在公司承载了DW、AI、Growth 等重要业务数据的存储重任。随着业务的高速发展，数据的成倍增加，HDFS 集群出现了爆炸式的增长，使用率一直处...

前几天面了一位 91 年的大数据架构师，他工作 8 年，5年后端开发经验，从事架构设计只有短短 3 年时间，上份工作已经10万月薪了。但让我惊讶的是，他对架构设计的理解深度与广度，远在很多...

摘要：本文由知乎技术平台负责人孙晓光分享，主要介绍知乎 Flink 数据集成平台建设实践。内容如下：业务场景历史设计全面转向 Flink 后的设计未来 Flink 应用场景的规划Tips：...

黄峰，Kyligence 公司高级研发工程师，目前主要负责 Kyligence 企业级产品的开发以及维护工作。对 OLAP 场景的查询而言，单个查询往往需要在存储端扫描大量数据，再在内存中...

分享嘉宾：肖赞 贝壳 资深工程师，编辑整理：赵冬生出品平台：DataFunTalk导读：随着大数据的持续发展及数字化转型的兴起，大数据OLAP分析需求越来越迫切，不论是大型互联网企业，还...

前几天面了一位 91 年的大数据架构师，他工作 8 年，5年后端开发经验，从事架构设计只有短短 3 年时间，上份工作已经10万月薪了。但让我惊讶的是，他对架构设计的理解深度与广度，远在很多...

导语 |市面上有非常多的消息中间件，rabbitMQ、kafka、rocketMQ、pulsar、 redis等等，多得令人眼花缭乱。它们到底有什么异同，你应该选哪个？本文尝试通过技术演...

文章作者：何永康，腾讯 CSIG 后台研发工程师。一、Redis 基础数据结构1. StringRedis 里的字符串是动态字符串，会根据实际情况动态调整。类似于 Go 里面的切片-sli...

作为快手内部数据规模和机器规模最大的分布式文件存储系统，HDFS一直伴随着快手业务的飞速发展而快速成长。HDFS架构介绍HDFS 全名 Hadoop Distributed File Sy...

大数据被誉为“新石油”，如何管理并洞悉数据的价值，是企业未来发展的核心竞争力。进入大数据时代，数据规模与日俱增。另一方面，数据仓库的市场份额被其他技术蚕食，比如大数据、机器学习和人工智能。...

唯品会自2017年开始基于k8s深入打造高性能、稳定、可靠、易用的实时计算平台，支持唯品会内部业务在平时以及大促的平稳运行。现平台支持Flink、Spark、Storm等主流框架。本文主要...

话不多说，喜欢就进。我提供平台，您自便（蹭流量打广告的请绕行）二维码失效或者满人了的话请加个人微信号deltalake,备注进群 ...

Introduction在构建数据湖时，也许没有比数据格式存储更具有意义的决定。其结果将对其性能、可用性和兼容性产生直接影响。通过简单地改变数据的存储格式，我们就可以解锁新的功能，提高整个...

摘要：本文由知乎技术平台负责人孙晓光分享，主要介绍知乎 Flink 数据集成平台建设实践。内容如下：业务场景历史设计全面转向 Flink 后的设计未来 Flink 应用场景的规划Tips：...

Apache Kafka 是一个开源流处理平台，如今有超过30％的财富500强企业使用该平台。Kafka 有很多特性使其成为事件流平台（event streaming platform）的...

2021年4月17日，9:00-12:45，大数据存储架构峰会：数据湖技术论坛将如约而至。本次论坛由阿里封神出品，邀请了来自阿里与Alluxio的5位专家，就数据湖相关技术主题进行分享。峰...

1iceberg 详细设计Apache iceberg 是Netflix开源的全新的存储格式，我们已经有了parquet、orc、arvo等非常优秀的存储格式以后，Netfix为什么还要设...

4月初，Apache Hudi 发布了 0.8 版本，这个版本供解决了 97 个 ISSUES，下面简单介绍一下这个版本的迁移以及重要特性。迁移指南•如果从 0.5.3 以下版本迁移，请检...

桔妹导读：HDFS中默认的3副本方案在存储空间和其他资源（例如网络带宽）上有200％的开销。对于冷数据，使用纠删码（ErasureCoding，EC）存储代替副本存储是一种非常不错的替代方...

之前参加了一个技术论坛，有幸认识几位大佬，本着“近朱者赤近墨者黑”的原则，梦想有朝一日也当上大佬的我只好厚着脸皮要资料，据说有不少小伙伴靠这份秘籍成功掌握了大数据的核心技能，拿到了 BAT...

摘要：本文由腾讯游戏增值服务部数据中心许振文分享，主要介绍腾讯游戏实时计算应用平台的建设实践。内容包括：建设背景统一实时大数据开发OneData统一大数据接口服务 OneFun数据服务微...

众所周知，爱奇艺拥有海量视频，在视频生产过程中产生的上千QPS的实时数据、T级别的数据存储。要支持这样的数据进行即席查询和多个大表的JOIN，是爱奇艺视频生产团队大数据应用的难点。具体来说...

Apache Kafka 的核心设计是日志（Log）—— 一个简单的数据结构，使用顺序操作。以日志为中心的设计带来了高效的磁盘缓冲和 CPU 缓存使用、预取、零拷贝数据传输和许多其他好处，...

全球最大的开源软件基金会 Apache 软件基金会（以下简称 Apache）于北京时间 2021年4月9日在官方渠道宣布Apache DolphinScheduler 毕业成为Apache...

各位工程师同学们：你好！如果你在从事后端开发，你也许曾幻想过设计出性能比标准库还高数倍的数据结构或者算法；如果你在从事存储系统开发，你也许曾幻想过实现一种全新的存储模式，大幅提升读取和写...

摘要：本文由阿里巴巴的陈玉兆分享，主要介绍 Flink 集成 Hudi 的最新版本功能以及快速上手实践指南。内容包括：背景环境准备Batch 模式的读写Streaming 读总结一、背景...

大数据被誉为“新石油”，如何管理并洞悉数据的价值，是企业未来发展的核心竞争力。进入大数据时代，数据规模与日俱增。另一方面，数据仓库的市场份额被其他技术蚕食，比如大数据、机器学习和人工智能。...

作者简介纪成，携程数据开发总监，负责金融数据基础组件及平台开发、数仓建设与治理相关的工作。对大数据领域开源技术框架有浓厚兴趣。一一、背景2017年9月携程金融成立，本着践行金融助力旅行的...

MVCC 到底是什么？MVCC 即多版本控制器，其特点就是在同一时间，不同事务可以读取到不同版本的数据，从而去解决脏读和不可重复读的问题。这样的解释你看了不下几十遍了吧！但是你真的理解什么...

图数据结构，能够更好地表征现实世界。美团业务相对较复杂，存在比较多的图数据存储及多跳查询需求，亟需一种组件来对千亿量级图数据进行管理，海量图数据的高效存储和查询是图数据库研究的核心课题。本...

去年年底，网传阿里董事局主席张勇，在阿里内网发帖称“现在阿里的业务发展太慢，要把中台变薄，变得敏捷和快速。”此言一出激起千层浪，难道中台概念真成也阿里败也阿里？有人戏称阿里“过河拆中台”，...

实时数据仓库的发展、架构和趋势这篇文章从实时数仓开始讲到批流一体，谈了谈对大数据架构体系发展趋势的看法。文章最后讲到了基于数据湖Iceberg实现的存储层统一方案，以及要实现此方案Ice...

作者简介数据猩猩，携程数据分析总监，关注分布式数据存储和实时数据分析。实时数据分析一直是个热门话题，需要实时数据分析的场景也越来越多，如金融支付中的风控，基础运维中的监控告警，实时大盘之...

数据作为互联网时代的基础生产资料，在各大公司企业拥有举足轻重的地位。数据的价值在互联网公司的体现，大致而言可以分成三类：（1）发掘数据中的信息来指导决策，如产品运营、用户增长相关的BI报表...

2021 年，大数据不再只是一个流行词，而是一个强大的行业。字节跳动大数据中心足足配备了 17 万台服务器，阿里更是多次公开强调数据价值，并视数据为业务线“命脉”和未来的筹码。如果你是一名...

数据处理现状：当前基于Hive的离线数据仓库已经非常成熟，数据中台体系也基本上是围绕离线数仓进行建设。但是随着实时计算引擎的不断发展以及业务对于实时报表的产出需求不断膨胀，业界最近几年就一...

一、背景随着互联网和移动互联网的不断发展，各行各业都积累海量的业务数据。而企业为了改善用户体验，提升产品在市场上的竞争力，都采取了实时化方式来处理大数据。社交媒体的实时大屏、电商的实时推荐...

本文来自3月24日举办的 PrestoCon Day 2021。作者 Hitarth Trivedi，Uber 的软件工程师。Prism 是 Uber 所有 Presto 查询的网关服务（...

供稿：王新春、王玉、王康、徐其民01OLAP在唯品会演进迭代1.1 Presto/Kylin在唯品会的使用Presto作为当前唯品会OLAP主力军，经历了数次架构和使用方式演进。当前阶段，...

去年年底，网传阿里董事局主席张勇，在阿里内网发帖称“现在阿里的业务发展太慢，要把中台变薄，变得敏捷和快速。”此言一出激起千层浪，难道中台概念真成也阿里败也阿里？有人戏称阿里“过河拆中台”，...

本文总结了Impala在网易有数BI应用场景下的最新查询优化经验，并探讨后续进一步优化的思路。文章首先简述有数BI + Impala在网易云音乐等业务使用时遇到的挑战，再介绍进行有数查询优...

1、序言本文主要介绍Apache Doris在京东广告报表查询场景下的应用。文章将从我们原有系统开始讲述，包括我们遇到的问题，面临的挑战，以及我们为何选择使用Apache Doris。最后...

如今越来越多的企业对数据的实时性要求很高，以电商为例，阿里在双 11 会竖起一面电子屏幕，实时展示淘宝数据，例如成交额、访问人数、订单量、下单量、成交量等等。这个电子大屏的背后，就是用到我...

如今，很多公司可能会在内部使用多种数据存储和处理系统。这些不同的系统解决了对应的使用案例。除了传统的 RDBMS （比如 Oracle DB，Teradata或PostgreSQL） 之外...

本文为联合撰文，作者团队负责携程集团支付账务系统、消费金融账务系统、清结算和对账等工作的的开发、设计和运维工作。一一、前言原先携程内部的各账务系统都是随着自身的业务发展而建立起来的，其中...

引言随着计算机和网络技术的迅猛发展以及向各行业的不断渗透，如今数据的产生方式和产生来源相比以前都有了极大的丰富，比如：来自传感器的数据、网站上的用户活动数据、来自移动终端和智能设备的数据、...

背景概述在互联网电商平台上，广告是提升成交总额（Gross Merchandise Volume）和拉取新客的常见途经。在广告系统或广告运营中都需要基于人群数据分析进行定向的用户广告投放。...

一、前言爆款项目是2020年携程的一个新项目，目标是将全品类、高性价比的旅行商品统一集合在一个频道供用户选购。出于这样的业务定位，项目有三个特点：1）高流量2）部分商品会成为热卖商品3）...

这年代，做数据的，没人不知道 Spark 是什么吧。作为最火的大数据计算引擎，现在基本上是各互联网大厂的标配了。比如，字节跳动基于 Spark 构建的数据仓库，服务了几乎所有的产品线，包括...

1 背景美团外卖业务种类繁多、场景丰富，根据业务特点可分为推荐、广告、搜索三大业务线以及数个子业务线，比如商家推荐、菜品推荐、列表广告、外卖搜索等等，满足了数亿用户对外卖服务的全方面需求。...

A/B实验是很多公司的标配，在OPPO也不例。它是提供科学的数据决策的方式，帮助深入分析用户行为，支持个性化策略，同时降低产品迭代风险，达到业务快速验证、快速迭代的效果。但在Galileo...

数仓是商业智能的基础，它为OLAP、数据挖掘提供分析和决策支持。本文以在声波业务中的实践经历，总结了如何开始构建一个数仓模型、如何配置数据任务流调度、以及如何在自助取数上抽象模型配置cub...

本文要介绍的是 2020 年 OSDI 期刊中的论文 —— Twine: A Unified Cluster Management System for Shared Infrastruc...

都说大数据工程师吃香，但很多人都倒在了进阶的关键一步。怎么从单纯的“倒腾数据”到真正理解架构、高效管理？如何从小场景的个人技术摸索到大型业务场景的理解和实战？突破这一步，找到学习的突破口、...

Contentsquare 公司的 Robin 总结了他们将 Spark 任务迁移到 Flink 遇到的 10 个『陷阱』。对于第一次将 Flink 用于生产环境的用户来说，这些经验非常有...

查询响应时间P90 0.5s，700 个 Cube，122 个 Project，16000 多个 Segment，单副本的存储500T，日查询量20w，日输入量200 亿。从 16...

1.背景HBase 是一个基于 HDFS 的低成本、分布式LSM结构数据库，可以支持毫秒级别查询；支持海量的PB级的大数据存储，适用于高QPS的随机读写和前缀范围查询等场景。此外，优秀的...

你被大数据杀过熟吗？当今企业对数据的重视度越来越高，在大数据系统架构设计层面，大数据架构师需要完成技术决策、技术选型，还需要根据不同时期的业务场景，不断优化和演进软件架构，最终攻克技术难点...

我们之前的文章《蚂蚁绊倒大象...》介绍过，海量小文件是大数据领域中公认的难题，对时间和性能都可能造成毁灭性打击。本文将继续针对小文件，讲解小文件产生的原因和一些解决办法，希望对大家能有所...

最近又到了金三银四求职季，公号后台多了不少大数据的相关问题：· 号主，最近有想往大数据开发转，Python能用上吗？· 找工作的时候发现，Python薪资不行，大数据开发的起薪是工作2年...

摘要：本文由Bigo 计算平台负责人徐帅分享，主要介绍 Bigo 实时计算平台建设实践的介绍。内容包括：Bigo 实时计算平台的发展历程特色与改进业务场景效率提升总结展望Tips：点击文...

导语 | 后台服务架构经过了集中式、SOA、微服务和服务网格四个阶段，目前互联网界大都使用微服务和服务网格。服务从集中式、中心化向分布式、去中心化不断演进，服务也变得更灵活，能够自动扩缩容...

最近，不少科技圈的小伙伴发现，在微信群里居然可以学金融知识！而且全程免费！群里面会有免费的CFA（特许金融分析师）直播课，免费的CFA课程资料，还有专业的财经老师辅导学习...

本文的缘起是回答知乎圆桌会议「分布式系统之美」的问题「如何系统性地学习分布式系统?」，后面稍微整理了一下，形成了这一篇文章（知乎 ID：kylin）。前言学习一个知识之前，我觉得比较好的方...

Presto是一款优秀的交互式查询解决方案，并且已经被诸多公司证实过，因为其数倍于Hive的查询速度的优势，团队决定引入Presto用于交互式查询场景。但是因为迁移成本和服务器成本，Pre...

一、业务背景随着公司业务发展和用户规模的增多，很多项目都在打造自己的评论功能，而评论的业务形态基本类似。当时各项目都是各自设计实现，存在较多重复的工作量；并且不同业务之间数据存在孤岛，很难...

‍背景在过去的2020年，网易严选在数据任务治理方面存在一些迫切希望改善及提升的点，2020年初在部门负责人和杭研数科领导的带领下，正式组建团队以“共建”的方式来解决这些希望改善或提升点，...

写在前面：我们为什么要建模这里想先说下，这些年我在数仓摸爬滚打的一些经历：刚毕业那会儿，我觉得数仓简单啊，不就是用sql开发一张张表嘛，谁不会呀，那段时间觉得好没挑战呀，没事的时候捣鼓下高...

你被大数据杀过熟吗？当今企业对数据的重视度越来越高，在大数据系统架构设计层面，大数据架构师需要完成技术决策、技术选型，还需要根据不同时期的业务场景，不断优化和演进软件架构，最终攻克技术难点...

Apache Spark 3.1.1 版本于美国当地时间2021年3月2日正式发布，这个版本继续保持使得 Spark 更快，更容易和更智能的目标，Spark 3.1 的主要目标如下：•提升...

今年年前，Apache Flink 背后公司Ververica 的 CEO Kostas Tzoumas 和联合创始人 Fabian Hueske宣布离职，《Apache Flink ...

一、前言随着近几年业务快速发展与迭代，大数据的成本也水涨船高，如何优化成本，建设低成本高效率的底层服务成为了有赞数据基础平台2020年的主旋律。本文主要介绍了随着云原生时代的到来，经历7年...

1. 背景Apache Hudi将流处理带到大数据，相比传统批处理效率高一个数量级，提供了更新鲜的数据。在数据湖/仓库中，需要在摄取速度和查询性能之间进行权衡，数据摄取通常更喜欢小文件以改...

身为大数据工程师，你还在苦学Spark、Hadoop、Storm，却还没搞过Flink？醒醒吧！刚过去的2020双11，阿里在Flink实时计算技术的驱动下全程保持了“如丝般顺滑”，基于F...

本文总结了Impala在网易有数BI应用场景下的最新查询优化经验，并探讨后续进一步优化的思路。文章首先简述有数BI + Impala在网易云音乐等业务使用时遇到的挑战，再介绍进行有数查询优...

在使用Hadoop过程中，小文件是一种比较常见的挑战，如果不小心处理，可能会带来一系列的问题。HDFS是为了存储和处理大数据集（M以上）而开发的，大量小文件会导致Namenode内存利用率...

一、前言在互联网应用中，缓存成为高并发架构的关键组件。这篇博客主要介绍缓存使用的典型场景、实操案例分析、Redis使用规范及常规 Redis 监控。二、常见缓存对比常见的缓存方案，有本地缓...

IT 行业的人可能听过“Java 大数据开发”这个名词，其实这并不是一个新岗位，而是因为大数据开发的编程语言以 Java 为主，掌握 Java 是进行大数据开发的基础，这才形成了“ Ja...

2021年2月15日，Apache Flink 创建者、Ververica 公司（前身 DataArtisans）的联合创始人 Fabian Hueske 在 Twitter 宣布其已经从...

导读唯品会离线平台SPARK2.3.2无缝升级到SPARK3.0.1版本，完全做到了对用户透明，目前正按着既定方案进行升级，新的版本SPARK CORE/SQL/PySpark进行了优化和...

新年的第一个工作日明天就开始了，祝大家开工大吉，前程似锦！ClickHouse 是最近比较热门的用于在线分析处理的（OLAP）[^1]数据存储，与我们常见的 MySQL、PostgreSQ...

今晚赶时间做了一个专属红包封面，效果看下面的视频如果你觉得不错的话，可扫描下方视频号二维码，点击关注，并私信【过往记忆大数据红包封面】，我将随机抽取15位幸运关注者如果自己爱好设计，也可以...

摘要：本文由快手大数据架构团队负责人赵健博分享，主要介绍 Apache Flink 在快手的过去、现在和未来。内容包括：为什么选 FlinkFlink在快手的发展业务数据流技术创新未来计...

临近过年，疫情又趋于平稳，最近出来面试的人也多了起来，我们公司也在招人。我发现，不少候选人，对数据库的认知还处在比较基础的阶段，以为会写“增删改查”、做表关联就足够了，那些工作中经常出现的...

查询响应时间P90 0.5s，700 个 Cube，122 个 Project，16000 多个 Segment，单副本的存储500T，日查询量20w，日输入量200 亿。从 16...

2021年2月4日，负责维护 Docker 引擎的 JustinCormack 在 Docker 官方博客宣布把Docker 发行版（Docker Distribution）贡献给 C...

作者：蒋羽中& 张俊英部门：数据中台一、概述1.1 背景有赞是一家SaaS公司，更是一家大数据公司。如何从海量数据中高效地挖掘数据的价值，并对数据进行可视化分析与展示，是我们亟待...

以下为部分文章列表：（点击文字可访问文章）JavaJava日常开发的21个坑，你踩过几个？Java云服务开发知识学习Q&AJava AQS 核心数据结构-CLH 锁大数据2020大...

‍在 2021 年 1 月 27 日，Apache Iceberg 发布了0.11.0 版本[1]。在这个版本中，实现了以下核心功能：1、Apache Iceberg 在 Core AP...

关于年终奖数额，50.24% 的职场人年终奖在 1 个月工资以内，而超过 13% 职场人年终奖超5个月工资，6.35% 职场人年终奖超 10 个月工资。（数据来源于陆金所、脉脉）此外，还...

2021年2月1日， Databricks 在其博客宣布将投资10亿美元，以应对其统一数据平台（unified data platform）在全球的快速普及。本次融资由富兰克林·邓普顿（F...

供稿 |eBayCarmelTeam作者 | 王刚编辑 | 顾欣怡本文5499字，预计阅读时间17分钟更多干货请关注“eBay技术荟”公众号导读Carmel是eBay内部基于Ap...

作者：陈琦部门：数据中台一、ClickHouse 介绍ClickHouse 是一款由俄罗斯 Yandex 公司开发的 C++ 开源高性能 OLAP 组件。在 Yandex 内部, Cli...