今天小蚪来给大家分享一些关于kafka环境变量方面的知识吧,希望大家会喜欢哦
【reInvent】关于kafka环境变量,你知道多少?
【reInvent】关于kafka环境变量,你知道多少?
1、AWS在re:Invent 20会上首先发布了托管Apache Kafka消息队列服务(Amazon Mad Streaming for Apache Kafka,MSK)的消息,现在已经从预览成为正式服务。
2、Apache Kafka是一个分布式的消息队列系统,其使用发布以及的架构,将产生的流数据的应用与利用流数据的角色分离。
3、Apache Kafka让使用者可以捕捉如消息队列、交易、物联网等,或是应用与日志等流数据,还能实时进行分析,连续不间断地转换数据,并再将收到的数据经过处理后,分发到其他的数据湖和数据库中。
4、AWS提到,用户在生产环境中要配置Apache Kafka,需要克服一些障碍,特别是在后续的管理以及规模扩展工作上,而现在AWS正式推出的MSK服务,则由AWS负责管理任务,让用户可以简单地配置使用,而且由于近几个版本的Kafka,都需要与协调程序Zookeeper共同使用,因此MSK服务也只要简单地设定,就能让Kafka与ZooKeeper一同运行。
5、使用MSK服务,用户可以在几分钟内创建集群,并使用AWS身分管理与访问控制IAM管理集群作,也能通过ACM(AWS Certificate Mar)完全托管的TLS私密凭证颁发机构授权客户端,以TLS加密数据,并使用KMS(AWS Key Mament Serv)中的密钥加密其他数据。
6、当发生故障时,MSK还会替换故障机器,自动执行修补,用户可以从Amazon CloudWatch中,服务的状态指标。
7、AWS表示,MSK与Kafka 1.1.1和2.1.0版本完全兼容,因此用户可以在AWS直接执行原本的Kafka应用以及工具,而不需要修改任何的代码,用户能使用开源工具MirrorMaker,将数据从现有的Kafka集群直接迁移到MSK上。
8、MSK的计价方式是以Kafka Broker以及配置存储每小时计价,MSK的数据传输费用与原本的AWS数据传输相同,而集群所使用的Zookeeper,还有区域集群的Broker和Zookeeper互传数据是不额外收费的。
9、现在用户已经可以在大部分的AWS区域使用到MSK服务,包括北美、与欧洲。
本文到这结束,希望上面文章对大家有所帮助。