Prism:Uber 的 Presto 查询网关服务

本文来自3月24日举办的 PrestoCon Day 2021。作者 Hitarth Trivedi,Uber 的软件工程师。

Prism 是 Uber 所有 Presto 查询的网关服务(gateway service)。它解决了 Uber 在四个主要领域的具体需求——资源管理、查询控制、监控和安全。它负责为 Uber 每周6000多名活跃用户的300多万次查询提供代理。由于 Uber 的多租户关系,Presto 作业的执行时间是可变的。Prism 通过使用诸如查询路由、负载均衡、查询控制、会话参数检查、故障转移等特性克服了这些挑战,这些特性有助于在 Uber 上为 Presto 维持99.9%的可用性和可靠性 SLA。

本文的 PPT 请关注 过往记忆大数据 微信公众号,并回复 uber_presto 获取。

Presto 在 Uber 的使用情况

上面是 Presto 在 Uber 的使用情况:

•每月1.2W的活跃使用用户;•每天40W的查询;•每天处理50PB的 HDFS 数据;•拥有2个数据中心;•4500个节点;•12个集群。

主要使用的 Presto 工具包括:presto-go-client、pyhive 以及 JDBC 客户端,比如 tableau 等。

Presto 处理的工作负载主要为交互式查询和批处理;这两种负载是分别使用不同的 Presto 集群处理的:交互式查询是使用交互式 Presto 集群处理的;批处理是发到批处理 Presto 集群处理,不同负载使用不同集群处理可以使得作业之间不受影响。

为什么会要引入 Presto 网关服务

在 Uber 存在多种不同的客户端,这些客户端需要把不同的查询发到不同的 Presto 集群。

但是客户端可能存在无效的映射配置,比如批处理查询客户端把查询发到交互式 Presto 集群,这样就会存在一些问题。而且由于客户端比较多,非常不好控制。

引入了 Prism 之后,整个 Presto 集群的入口就只有一个,所以比较比较好做一些控制。

Presto 网关服务服务的架构设计

下面我们来简要介绍一下 Prism 网关服务的主要功能。

从上图可以看出,Presto 网关服务 主要提供了六大功能:

•查询运行;

•路由功能;•负载均衡;•故障转移;•查询控制;•速度限制。

Prism 主要使用 presto-go-client 客户端和 Presto 集群进行交互;Prism 主要提供两种模式的查询代理:

•异步执行 API 返回数据流

•异步执行 API 返回文件描述符

返回数据流这种模式的整个流程如下:

•用户把查询提交到客户端;

•客户端通过 presto-go-client 调用 Prism;•Prism 识别出最合适的 Presto 集群来运行这个查询;•Prism 通过 HTTP 重定向返回响应,以使 presto-go-client 可以直接在 presto 群集上继续执行。•一旦查询完成,执行结果将直接返回客户端。

返回文件描述符这种模式的整个流程如下:

•用户把查询提交到客户端;•客户端将 Presto 查询发送到 Prism,并且得到一个 query-id;•Prism 通过 presto-go-client 把查询发送到 presto 集群;•当查询运行完成,Prism 将结果写到 HDFS 上,客户端这时候可以拿到这个 HDFS 路径;•客户端通过调用 Prism 获取查询查询的状态;•一旦查询完成,客户端通过 HDFS 获取到查询的结果,并返回给用户。

在 Uber 内部,Presto 根据工作负载将集群分为两个类型:

•交互式集群:处理 Ad hoc 查询;

•批处理集群:处理定时查询(Scheduled queries)

路由功能的实现主要是,Prism 里面存储了从特定源到工作负载类型的映射关系:

•Prism 从 HTTP 请求头识别提交的客户端来源。

•Prism 将查询转发到正确的集群类型。


负载均衡功能的实现思想如下:

•Prism 从 Presto coordinators 中拿到不同集群的当前负载情况;

•负载是由运行中的查询数、排队的查询数以及 worker 数决定;•使用负载统计,它将用户提交的查询路由到最佳的集群。

故障转移的实现如下:

•Prism 可以将流量从一个集群转移到另一个集群;•这个功能在以下场景下是非常有用的:部署 Presto 集群、重启 Presto 集群以及 Presto 集群维护。

Prism 其他功能主要有:

•可以将一些用户或者一些来源的查询屏蔽;•Prism 仅允许用户设置一些确定的会话属性;一些会话属性的值被限制;•基于每个源和每个用户运行的查询数量进行速率限制。

过往记忆 CSDN认证博客专家 过往记忆大数据 大数据 iteblog
相关推荐
<p> <b><span style="background-color:#FFE500;">【超实用课程内容】</span></b> </p> <p> <br /> </p> <p> <br /> </p> <p> 本课程内容包含讲解<span>解读Nginx基础知识,</span><span>解读Nginx核心知识、带领学员进行</span>高并发环境下Nginx性能优化实战,让学生能够快速将所学融合到企业应用中。 </p> <p> <br /> </p> <p style="font-family:Helvetica;color:#3A4151;font-size:14px;background-color:#FFFFFF;"> <b><br /> </b> </p> <p style="font-family:Helvetica;color:#3A4151;font-size:14px;background-color:#FFFFFF;"> <b><span style="background-color:#FFE500;">【课程如何观看?】</span></b> </p> <p style="font-family:Helvetica;color:#3A4151;font-size:14px;background-color:#FFFFFF;"> PC端<a href="https://edu.csdn.net/course/detail/26277"><span id="__kindeditor_bookmark_start_21__"></span></a><a href="https://edu.csdn.net/course/detail/27216">https://edu.csdn.net/course/detail/27216</a> </p> <p style="font-family:Helvetica;color:#3A4151;font-size:14px;background-color:#FFFFFF;"> 移动端CSDN 学院APP(注意不是CSDN APP哦) </p> <p style="font-family:Helvetica;color:#3A4151;font-size:14px;background-color:#FFFFFF;"> 本课程为录播课,课程永久有效观看时长,大家可以抓紧时间学习后一起讨论哦~ </p> <p style="font-family:"color:#3A4151;font-size:14px;background-color:#FFFFFF;"> <br /> </p> <p class="ql-long-24357476" style="font-family:"color:#3A4151;font-size:14px;background-color:#FFFFFF;"> <strong><span style="background-color:#FFE500;">【学员专享增值服务】</span></strong> </p> <p class="ql-long-24357476" style="font-family:"color:#3A4151;font-size:14px;background-color:#FFFFFF;"> <b>源码开放</b> </p> <p class="ql-long-24357476" style="font-family:"color:#3A4151;font-size:14px;background-color:#FFFFFF;"> 课件、课程案例代码完全开放给你,你可以根据所学知识,自行修改、优化 </p> <p class="ql-long-24357476" style="font-family:"color:#3A4151;font-size:14px;background-color:#FFFFFF;"> 下载方式电脑登录<a href="https://edu.csdn.net/course/detail/26277"></a><a href="https://edu.csdn.net/course/detail/27216">https://edu.csdn.net/course/detail/27216</a>,播放页面右侧点击课件进行资料打包下载 </p> <p> <br /> </p> <p> <br /> </p> <p> <br /> </p>
©️2020 CSDN 皮肤主题: Age of Ai 设计师:meimeiellie 返回首页