这篇文章上次修改于 2029 天前，可能其部分内容已经发生变化，如有疑问可询问作者。 1.kafka处理持续流动的数据 + 不像关系数据库和kv数据库，把数据堪称持续变化continous evolving 和不断增长 ever growing的流。 + kafka最初使用在社交网络的实时应用和数据流中。现在是 一个流平台Stream platform，可以发布和订阅数据。 2.kafka的比较 3.和普通的消息系统比，如ActiveMQ，RabbitMQ。尽管非常相像。 - kafka可以自由伸缩，可以作为一个公司的消息中心平台。处理整个公司所有的数据流。而其他消息系统一系列是独立的brokers - kafka是一个存储系统，可以按你的要求时间存储数据。即可副本保存（高可用），可持久话。 - 一般流queue系统只会传递数据，而kafka可以用很少的代码处理派生流/数据集。(derived treams 和datasets) 4.和存储系统相比，可以看成一个实时版本的hadoop - kafka可以存储和定期处理大量的数据文件 - hadoop长处是数据分析，但是kafka具有实时性，可以用于核心业务的处理 5.和ETL相比，都擅长移动数据。但是kafka只是把数据拆解出来，塞给另一个系统，实际上是一个数据平台。 6.发布订阅消息模式 + 发布者发布消息给broker，不关心谁是reciever + 消费者只消费他关心类型的消息 7.kafka通用数据类型 + kafka存储的是字节数组（Arrays of bytes)，对kafka来说，这些消息对kafka来说，没有特别的格式和含义 + kafka消息可以有一个可选的Optional key，同样是字节数组，对kafka来说，没有特别的格式和含义。key可以用来生成hash来决定分区 8.kafka批次消息 + kafka写入消息是按批次（一组消息）写的。这些消息属于同一个topic和分区partion。这样会节约网络开销，但是批次大也会导致单个消息的传输时间变长。所以要在latency和throughput之间权衡。 + 通常会对批次进行压缩处理，提高传输效率，同时增加了计算处理。 9.kafka message schemas 消息模式 + kafka 被建议用JSON和XML，但是这两者缺乏强类型约束和健壮性，而且不同版本兼容性也不好 + kafka开发者大多采用 Apche Avro （ 最初开发为hadoop使用的序列化框架），作为kafka消息的schemas。Avro提供一种紧凑的序列化格式，Schemas和message payloads是分开的，Schemas变化，不需要重新序列化，向前和向后兼容 + kafka需要这种一致性数据，不能发布端的数据格式变化，引起所有消费端升级。即数据格式的接偶 10.kafka的主题topics + topic是消息的分类方式，好比数据库中的table，topic会被分区，类似数据库中的分表，这也是kafka可以水平扩展的原因。 + kafka 只能保证分区内的有序性，不能保证整个topic的有序性 (time Ordering)。 + 一个分区类似一个commit log，只能追加的方式吸入。 + 这中无界的commit log 一般被描述为流。如果忽略分区，一个topic会被视为一个流。即代表单个数据流 从生产者移动到消费者。 + 流处理框架，有kafka Stream，Storm，及实时real time的操作数据。与之对比的是离线offline处理框架。如hadoop 11.kafka的client----生产者和消费者 + 一般使用key做hash，来决定消息写到哪个分区。也可以自定义分区器partioner。这样根据业务把需要顺序性的业务数据分到同一个分区。 + 消费者使用一种元数据（每个消息生成的时候，都会分配一个offset并保存到消息中，这个类似数据库中的主键，自增的整数)----offset来标记是否已经处理过。 + 消费者把每个分区的读取的偏移量offset,保存到zookeeper，或者kafka本身。如果消费者关闭，那么读取的状态不会丢失。 + 多个消费者会按组划分，但是会保证一个partion只会分给组中特定某一个消费者，以保证分区的顺序性。即一个分区不会分给同一个组内的多个消费者。 12.kafka broker，单个kafka的server被成为brokder + brokder接收生产者发送的消息，并且分配offset给这个消息 13.kafka消息保留retention + 可以设置保留时间。或者topic保留的容量大小，比如某个topic设置了最大保留数据1GB，一旦超过时间或者容量，消息就会被失效，或者删除。所以任何时刻，kafka的消息总量不会超过配置的大小。 + 可以为某个topic单独设置过期时间和容量。 + 还可以设置为log compacted ---紧凑型日志。kafka只会保留最后的一条消息。 14.kafka 多集群 + kafka 集群 内置了副本机制，保证同一个集群可以互为副本 + MirrorMaker 用来同步多个集群之间。MirrorMaker的本质包含了一个Producer和Consumer，Consumer从一个集群上读取消息，然后用Producer发送到另一个集群上 + 多集群的原因有三1.隔离数据类型2.隔离安全级别3多数据中心容灾 15.kafka的使用场景 + 活动记录----Activity Tracking + Messaging----用户通知等，如邮件，格式化消息（装饰） + 度量指标和日志记录 + commit log ----事务的基本使用 + Stream processing 流处理 16.kafka 安装环境 + JAVA8，最好安装jdk + zookeeper---保存Broker和Topic的metadata，另外老版本中，还保存consumer的offset指针，可以使用srvr命令验证zookeeper安装是否正确 + zookeeper的群组叫做Ensemble，由于zookeeper使用了一致性协议，所以最好群组内的节点使用奇数个。这样才能少数服从多数。如果有3个节点，允许1个节点失败，如果有5个节点，那么允许2个节点失败
没有评论