下去的视频
规模和提高处理速度与纯流分析管道和汇合的
学习Apache卡夫卡和支流可以使用纯生于云端存储FlashBlade带来更多的经验来分层存储和数据中亚搏充值后支付宝能申诉吗心。
单击查看记录
安德鲁·尼尔森:好的,谢谢你,每个人都参加。我叫安德鲁·尼尔森,我纯存储主机会话。亚搏充值后支付宝能申诉吗你现在参加云原生卡夫卡与支流和纯粹的存储。亚搏充值后支付宝能申诉吗我在现场解决方案架构师在纯flash叶片团队存储。亚搏充值后支付宝能申诉吗这意味着主要
重点分析和软件开发或开发道路实践在我们flash刀片产品团队。我会让马克介绍自己和汇合的。Marc Selwan:谢谢你,安迪。嘿,伙计们,我的名字是马克出售产品,在产品融合工作,特别是
专注于卡夫卡存储和数据平衡。很高兴聊一些cloudhealth卡夫卡和纯粹的存储。亚搏充值后支付宝能申诉吗酷。有些人可能不知道,汇合的,我们提供一个企业分布的Apache卡夫卡,我们也有一个事件流媒体云平台作为一种服务,显然,
我们将今天特别关注汇合的平台。但有一些重要的东西发生发生在去年。你可以你可以去下一张幻灯片,很多工作我们一直在做云计算解决问题就像操作问题,
扩展的挑战,类似这样的事情,我们已经释放他们自我管理用户的特性融合性的平台。今天,我们要特别关注那个盒子说性能和弹性。所以我们自平衡集群功能
分层存储功能,以及如何使用纯flash存储刀片带来更多的云本地经验自我管理用户。亚搏充值后支付宝能申诉吗让我们继续谈论分层存储。这是这是一个很有趣的Apache卡夫卡的范式转变。下一张,安迪。
安德鲁·尼尔森:是的,你知道,真的,卡夫卡是产品本身。但它来自很多Hadoop的卑微,在那里能够做这种类型的,你知道,消息和开源产品定期x86硬件上有大量的潜力。,超级小的用例
一件容易的事。所有你需要的是几个服务器或虚拟机,或实例。现在你有一个事件流媒体平台利用。现在的困难,就在裸金属或,你知道,单例的场景,是我们正在看的这两个问题,是简化的数量
当然,存储,因为一切都得到通过,存储队列被保存到存储磁盘。你知道,你的性能维护,对平台至关重要。因为这是一个实时流媒体平台,你要确保扩大
或出卡夫卡集群,你不是被这两个管理组件。Marc Selwan:没错。这是分级存储整个想法是从哪里来的。现在,当你想到分层存储,在传统数据库的世界里,你想想当你热
数据存储在你冰冷的数据存储。但说实话,这些天来,对象存储变得那么好,这么快,和无与伦比的可靠性,最终变得像刚出炉的数据,数据也许不那么热。但即使是这样,只是退一步分层存储是我们不断的想法
归档数据有效的对象存储。这有很多有趣的含义,正确的。这是一个有效的解耦方式存储从计算,因为我们想想,您可以保留一小部分数据本地代理,然后你的大部分数据驻留在这个超级快
和高效的对象存储。在我们的例子中,我们讨论的是flash播放。所以拥有成本的影响,因为你不必担心基础设施扩张规模各个组件。这帮助很大弹性和让你感觉自我管理环境
一些原生云,我们将进一步讨论,。下一张。很快就总结一下它是如何工作在高级别上,你有一个传统的卡夫卡集群,你有你的经纪人,你的经纪人有本地存储。然后新作品的介绍
长期存储flash叶片作为对象存储。正如我所提到的,它的工作方式是作为数据被写,是自动发送的对象存储,因为它被写下来的。所以这个本地存储,你有一个新的参数,我们称之为hotset,单位要么
多长时间,所以你想保留本地数据,代理层,或你想保留多少数据。所以你可以像你一样积极想用这个。例如,我们有一些用户可能在本地存储7天的经纪人,他们会在存储月两年的数据
对象存储。这就是开始给你的灵活性或弹性。我们会讨论一下,在这里。下一张。安迪,你想聊这个呢?安德鲁·尼尔森:是的,当然。这里,你知道的,在第二天
操作,一旦你得到集群启动和运行,你知道,你会有场景是如此成功,你想承担更多的话题,你想承担更多的流数据,您需要添加服务器计算或存储。实际上,由于这些在传统的耦合
场景中,您需要添加,你知道,无论哪种方式,你需要添加更多的服务器集群。当这种情况发生时。所有的数据可能需要重新平衡。和融合性的,都有自己的功能,平衡集群。,否则,这将是你知道的,我们只是
与普通Apache卡夫卡,必须是一个手动过程。但是所有的数据都通过你的网络传输,以确保所有节点是最新的,实际上与flash叶片处理额外的负载。现在我们已经存储、分离或
分解,从计算节点,或者至少hotset马克在说什么。现在,我们只需要滑动底盘新刀片,或者我们可以扩大额外的10,互联底盘使用flash刀片一个flash叶片实例。这样,我们添加更多的存储和
更多的存储空间吞吐量,在后台完成,已经自我控制,而不是一定要在您的网络。同样的观点,如果我们需要添加计算节点,非常简单,我们可以将节点添加到添加处理能力计算方面,不是与存储。所以我们不相关的
磁盘底盘插槽的数量已经在一个计算节点,我们可以关注,你知道,CPU和内存至关重要,你知道,最热门的经纪人最相关的数据。Marc Selwan:好吧,让我们潜水深入一点什么
主题层面上发生,因为我认为这是非常重要的。谈判的效率,我们真正帮助玩对我们每一个优势,正确的。所以你写数据到卡夫卡的话题,这些显然被写入一个日志。和这些角色这些日志卷,
他们滚到这些部分。这些片段文件,这些事情正在上传归档对象存储。效率机制,现在我们只上传的段分区领导人特别。所以你现在可能在卡夫卡,复制
因素有助于高可用性。非常通用标签复制因子,比方说,三,例如,我们不想发送三份数据对象存储,因为手电筒有自己的可用性和耐久性力学。我们想让flash叶片做它所做的最好的
当涉及到对象存储机制。所以我们只发送分区领导人段到对象存储帮助首先减少所需存储在对象存储方面。它也有助于从读取性能的角度来看,因为我们不
协调数据。每次我们只是平对象存储,我们知道我们所要找的。和flash叶片发送我们需要什么。下一张。所以我们提到一些新的参数,一些新的术语,它介绍了卡夫卡的世界,主要是热,对吗?和
炎热的设置就是控制多少数据,或者你想要借多久,代理层和配置数据分层存储。使用flash体重,超级简单。你只是作为一个s3端点配置它。的特殊位有端点覆盖。你把你的
手电筒端点。也是值得注意的,您可以配置分层存储集群广泛默认情况下,当您创建主题,它就会自动启用了分层存储,并立即开始撕裂数据。或者你可以在每个主题的基础上,说如果你有特定的主题
你要比其他的保留时间更长。所以最后,只是一些其他的事情要记住,特别是如果你有兴趣一试。正如我们提到的,层存储,您可以启用集群宽或每个主题的基础上。我在考虑热网站也是一个重要
的东西,因为它是,它是一个商业问题,对吧?喜欢,我想要在代理方面,影响个体经纪人如何大小。还有一些技术因素,诸如,好吧,更积极的我把我的心集
,我可能需要更多的计算能够处理负载。同样重要的是知道,绝对不需要在客户端层发生变化。利用这一点,所有逻辑和奇迹发生的代理。所以你的客户仍然是生产和消费
就像他们通常不会注意,需要发生了变化。然后到对象存储在基本的权限需要你期望从一个s3兼容的对象存储。现在我们不我们不需要,设置多上传一部分,这是一个常见的问题。
酷。下一张。好吧,这就是你的一些有趣的东西,它是如何使用,,的价值和效益这是从哪里来的?所以在内部,我们称之为花生酱和果冻用例,这是当你结合分层存储与自我跳跃集群
功能,这是一个新功能,我们发布了与分层存储,自动检测的拓扑变化,无论你是添加或删除经纪人,并分区分配和重新分配你的背景。所以不再做你要做的手册,分区
重新分配文件,手动运行命令行工具来做所有这些东西。但真正的魔术这是如果你仔细想想,对了,如果你有一组热你存储少量的数据在本地代理,比方说,60分钟,举例来说,这意味着当你添加或删除
经纪人,你只需要担心价值60分钟的数据流。这意味着当你有一个代理宕机,或者你想扩大或减少容量,它发生超级快。这对我们来说是一个巨大的操作赢得。汇合的。云,很明显,因为不再做了
我们的工程师需要担心做任何体力劳动或冒险时不得不优化工作负载或扩大或缩小集群。这些都是自动发生的。因为提示存储,它发生的非常快。下一张,安迪。
安德鲁·尼尔森:是的,让我谈论更多的操作。现在,我们看看,你知道,不只是计划操作,如果有计划外的维修,当然,向下一个节点或实例,那么任何数据在这些节点需要重建的
幸存的节点。当然,这对卡夫卡的标准。但是所有的这些数据,然后再平衡需要发生在网络上。和额外的负载的节点已经忙,已经压力当他们失去的一部分存储节点故障的吞吐量。
和分类的方法,当然,如果有任何存储失败在flash叶片端,我们使用n +两个比值编码,以确保我们有存储冗余。所以任何特定的叶片可以失败,仍然没有失去任何聚合存储吞吐量。与此同时,
当然,所有的组件都是积极活跃的背板你知道,电源、风扇,所有这些。和所有可以更新以及非破坏性的升级在未来,即使你想换出叶片如果你想要一个大存储,或全部
这些作品都是升级。Marc Selwan:太棒了。另一个有趣的现象,我们看到,对吧,好吧,这是进化的人们开始使用Apache卡夫卡,主要围绕它被认为是一个持久数据存储,如果你愿意。现在
显然有一些争论的话题,是卡夫卡,一个数据库替换,不是吗?但是,但是,我的意思是,证明是我们的用户和用户分级存储开始使用这个作为一种有效的存储数据的时间更长,特别是对使用情况,
好吧,工资数据达到卡夫卡。它是连接到我所有的下游系统。如果我,我保证数据在卡夫卡的时间越长,就越容易对我来说再水化下游系统创建物化视图在数据库或其他系统交互查询,或
分析或你。所以这是无与伦比的,这确实有助于使这些这些用例,我们一直在谈论这么长时间的冲突。这是像你的梦想成为现实,我们看到我们的用户开始使用卡夫卡以这种方式。下一个
幻灯片。其他有趣的东西吗?安德鲁·尼尔森:是的。你知道,我们,我们讲过,你知道,是这两个问题是什么,你知道,通过这些日常操作管理简单。但现在我们进入性能。这就是闪光
叶片需要发光,如果我们能保持与卡夫卡历史表现,如果我们要做,你知道的,数据不仅可以通过热的本地服务器,我们需要证明这个数组实际上可以做什么。当然,
你知道的,通过我们的测试,我们已经能够验证这对s3 AWS,看到,你知道,读快3倍的flash刀片,以及比较这2424磁盘节点,或磁盘底盘插槽。每个节点使得很多简单的flash叶片形式来管理这一因素
卡夫卡集群实例的数量。我们与这几种不同的流媒体工作负载,这样我们就可以入口和出口。所以很忙卡夫卡集群。同时,你知道的,我们可以,你知道的,只是,就像马克说的,查询这些数据下游。但如果所有
的数据已经是卡夫卡的一部分,而且它很容易和快速能够查询,在卡夫卡,为什么不利用,和flash叶片数据中心平台,使之成为了可能,你知道,体系结构的简单和快速,所以当卡夫卡集群需求
增加,或在额外的主题或吞吐量增长,我们可以处理额外的负载在flash叶片端,而只是一个普通的对象存储,而不一定是优化易用性。Marc Selwan:是的,这是一个有趣的观点。
安迪,我想,我想把线程上一点,因为是有原因的flash韦德是我们第一次和这一次的说,到目前为止,只有自我管理支持对象存储。正如我提到的,几张幻灯片,用户自然有机的概念开始
使用卡夫卡作为记录作为一个持久数据存储的系统。这有很多责任,正确的。所以我们认为分层存储,对象存储作为一个一流的存储介质。,这对我们来说是非常重要的,正确的。所以当我们使用
flash叶片团队,他们惊人的实验室,顺便说一下,我们有一些很甜的硬件。显然,对我们来说是至关重要的测试,比如性能是关键,正确的。我们没有怀疑的性能。事实上,我认为其中的一些这些图表正在一点点
谦虚。我想有一次,我们像在7 gb每秒,就像,绝对疯了。但一样重要性能是正确性,耐久性,和可用性。这些也是非常重要的事情,如果不是比性能方面更重要。和
我们做了大量的正确性测试,我们做失败测试场景,类似这样的事情,以确保我们可以信任的对象存储作为一个一流的存储介质。所以我认为我的意思是,很明显,这些图表看起来棒极了。和这是一个很棒的运动,但我只是想确保我们
强调指出,我们花了很多时间和精力,确保快速存储层,它是安全的。我认为我认为数字说明了一切。不管怎样。对不起,对不起,这是一个很好的电话。安德鲁·尼尔森:是的,你知道的,最后,我们交谈
对平衡时间,你知道,计划内或计划外停机时间。你知道,这是一种英雄图。但是,你知道,当集群只需要移动其个人热数据,你可以在这里看到,平衡集群,添加一个新节点,所有的,这非常简单。与
flash叶片,而不是向集群添加额外的负载,添加额外的存储、输入输出要求,所有这些就都可以卸载flash刀片,这样你只是移动的基本数据,让flash叶片照顾。和节省大量的时间。
Marc Selwan:是的,我的意思是,,我的意思是,这真的是它归结于什么,对的。我的意思是,有明显益处和用例得到解锁能够存储大量的数据,有效的对象存储层。但实际上,像这里的重大胜利,是在操作方面
这一点。而且,你知道,这不仅仅是一个时间的事情,对吧?我可以输入的是可怕的,它是伟大的,我们可以规模弹性真的很快。但想想从运营的角度来看,这样的结合自平衡集群的事情我之前谈到的,你
节省大量的时间和体力精力和手动脚本、缩放或从故障中恢复。这样,我认为这是一个巨大的胜利对运营商的卡夫卡,不是掉以轻心。安德鲁·尼尔森:现在,就迅速结束,我们知道
支流,flash刀片是一个很棒的组合。再一次,只是,你知道,我爱我的花生酱和果冻三明治的花生酱和果冻,我老婆每次都吓坏了,因为她不知道,你知道,这只是摧毁了我的嘴。但你知道,我的爱,你知道,汇合的
自我平衡集群,或层存储的功能,能够扩展他们的数据集和查询数据。利用,你知道,我们专注于从flash刀片,我们可以简化操作,简化存储扩展
组件,你知道的,希望计算方面以及卡夫卡集群。和保持吞吐量需要,是否我们正在建设,你知道,一个flash叶片系统或扩展,所有到多个间隙,减轻和维护的速度和我们可以这么做
所有数据的可靠性对卡夫卡集群。Marc Selwan:说得好。安德鲁·尼尔森:所以,我邀请你去看看有几个博客,我们已经与融合性的以及我们的合作,你也知道,用户案例研究和我们
最佳实践指南。的。谢谢收听。而且肯定让我们知道如果你有任何问题。
构建自己的统一消息平台,从最近得到最大价值以及历史数据。安德鲁·尼尔森在这个会话领域解决方案架构师纯存储和马克•Selwan汇合的产品经理将提供见解与最新版本使用纯汇合的卡夫卡亚搏充值后支付宝能申诉吗的无限存储功能。
这些专家将提供详细建议架构设计和实现一个分布式流媒体数据解决方案在纯FlashBlade所以你可以快速而方便地利用数据流分析管道。
会见一位专家
让我们谈谈。书1:1与我们的一个专家会议讨论您的特定需求。
问题,评论吗?
有一个问题或评论纯粹的产品或认证?我们在这里帮助。
安排一次演示
为自己安排一个现场演示,看看纯如何帮助您的数据转换成强大的结果。