流式系统概念介绍二(摘自Stream Systems) 待续

发布于 / 随记 / 0条评论 / Tags: Stream / 3 次浏览

了解流式系统(Stream System)的概念

1. 什么是流式系统?----一个设计用来处理 无限数据(infinite 表示很多,极大) 的处理引擎。

  • 数据的两个重要维度

    • cardinality 基数---可以分为有界数据(Bounded)和无限数据(Unbounded)
    • constitution 物理结构、组成-----可分为Table类型(常规mysql用的就是)和Stream类型(一个元素挨着一个元素element-by-elment)---Map Reduce 系列常用

2. 流处理系统---为了取代lamda那令人诟病的双模型结构,需要两样武器

  • 正确性Correctness

    • 正确性可以让你对待batch一样进行流处理
    • 正确性是一致性存储的基础

    评论区(暂无评论)