抽象级别
Flink提供了不同级别的抽象来开发流/批处理应用程序。
- 最低级别的抽象仅提供状态流。它 通过Process Function嵌入到DataStream API中。它允许用户自由地处理一个或多个流中的事件，并使用一致的容错_状态_。此外，用户可以注册事件时间和处理时间回调，从而允许程序实现复杂的计算。
- 实际上，大多数应用程序不需要上述低级抽象，而是针对Core API进行编程， 例如DataStream API（有界/无界流）和DataSet API （有界数据集）。这些流畅的API为数据处理提供了通用的构建块，例如各种形式的用户指定的转换，联接，聚合，窗口，状态等。这些API中处理的数据类型以相应编程语言中的类表示。
低级_Process Function_与_DataStream API_集成在一起，从而使得仅对某些操作进行低级抽象成为可能。该_数据集API_提供的有限数据集的其他原语，如循环/迭代。
- 该Table API是为中心的声明性DSL 表，其可被动态地改变的表（表示流时）。该Table API遵循（扩展）关系模型：表有一个模式连接（类似于在关系数据库中的表）和API提供可比的操作，如select, project, join, group-by, aggregate等表API程序以声明的方式定义应该进行哪些逻辑运算，_而 不确切地定义_运算的代码外观_。尽管Table API可以通过各种类型的用户定义函数进行扩展，但它的表达性不如_Core API。_，但使用起来更简洁（无需编写代码）。此外，Table API程序还经过优化程序，该优化程序在执行之前应用优化规则。
可以在表和_DataStream / DataSet_之间无缝转换，从而允许程序将_Table API_以及_DataStream 和DataSet API混合使用。
- Flink提供的最高级别的抽象是SQL。这种抽象在语义和表达方式上均类似于_Table API_，但是将程序表示为SQL查询表达式。在SQL抽象与表API SQL查询紧密地相互作用，并且可以在中定义的表执行_表API_。
程序和数据流
Flink程序的基本构建部分是流和转换。（请注意，Flink的DataSet API中使用的DataSet也是内部流）从概念上讲，流是数据记录流（可能永无止境），而转换_是将一个或多个流作为一个操作的操作。输入，并产生一个或多个输出流。
执行时，Flink程序将映射到由流和转换运算符组成的流数据流。每个数据流都以一个或多个源开始，并以一个或多个接收器结束。数据流类似于任意**有向无环图_（DAG）**。尽管可以通过_迭代_构造来允许特殊形式的循环 ，但是在大多数情况下，为简单起见，我们将对其进行介绍。
程序中的转换与数据流中的运算符之间通常存在一一对应的关系。但是，有时，一个转换可能包含多个转换运算符。
源和接收器记录在流连接器和批处理连接器文档中。转换记录在DataStream运算符和DataSet转换中。
回到顶部
并行数据流
Flink中的程序本质上是并行的和分布式的。在执行期间，一个流具有一个或多个流分区，并且每个_运算符_具有一个或多个运算符子任务。操作员子任务彼此独立，并在不同的线程中执行，并且可能在不同的机器或容器上执行。
_operator subtask_的数量是该特定操作员的并行性。流的并行性始终是其生产运营商的并行性。同一程序的不同运算符可能具有不同的并行度。
流可以_按一对一_（或_转发_）模式或_重新分配_模式在两个运算符之间传输数据：
- 一对一的流（例如，上图中的_Source_和_map（）_运算符之间）保留元素的分区和排序。这意味着_map（）_运算符的subtask [1] 将以与_Source_运算符的subtask [1]产生的相同顺序看到相同的元素。
- 重新分配流（如上面的map（）和keyBy（） / window（）_之间以及 _keyBy（） / window（）和Sink之间_）会更改流的分区。每个_operator subtask都_将数据发送到不同的目标子任务，具体取决于所选的转换。实例是 _keyBy（） _（其重新分区通过散列键），_broadcast() 或者 rebalance() _（其重新分区随机地）。在_重新分配_交换中，元素之间的顺序仅保留在每对发送和接收子任务中（例如_map（）的 subtask [1]和map（）的 subtask [2]_keyBy / window_）。因此，在此示例中，保留了每个键内的顺序，但是并行性确实引入了不确定性，即不同键的聚合结果到达接收器的顺序。
有关配置和控制并行性的详细信息，请参见并行执行文档。
视窗
汇总事件（例如，计数，总和）在流上的工作方式与批处理中的不同。例如，不可能计算流中的所有元素，因为流通常是无限的（无界）。相反，流上的聚合（计数，总和等）由窗口确定范围，例如_“过去5分钟内的计数”或“最近100个元素的总和”_。
Windows可以是_时间驱动的_（例如：每30秒）或_数据驱动的_（例如：每100个元素）。通常可以区分不同类型的窗口，例如_滚动窗口_（无重叠）， _滑动窗口_（有重叠）和_会话窗口_（由不活动的间隙打断）。
可以在此博客文章中找到更多窗口示例。更多详细信息在docs窗口中。
时间
在流式传输程序中引用时间（例如，定义窗口）时，可以引用不同的时间概念：
- 事件时间是创建事件的时间。通常用事件中的时间戳记来描述，例如由生产传感器或生产服务附加。Flink通过时间戳分配器访问事件时间戳。
- 接收时间是事件在源操作员进入Flink数据流的时间。
- 处理时间是每个执行基于时间的操作的操作员的本地时间。
有关如何处理时间的更多详细信息，请参见事件时间文档。
有状态的操作
尽管数据流中的许多操作一次仅查看一个_事件_（例如事件解析器），但某些操作会记住多个事件的信息（例如窗口运算符）。这些操作称为有状态。
有状态操作的状态以可以被认为是嵌入式键/值存储的方式维护。严格将状态与有状态运算符读取的流一起进行分区和分发。因此，只有在_keyBy（）_函数之后，才可以在_键控流_上访问键/值状态，并且仅限于与当前事件的键关联的值。对齐流键和状态键可确保所有状态更新都是本地操作，从而确保了一致性而没有事务开销。这种对齐方式还允许Flink重新分配状态并透明地调整流分区。
有关更多信息，请参阅关于state的文档。
容错检查点
Flink通过结合stream replay and checkpointing.来实现容错。检查点与每个输入流中的特定点以及每个运算符的对应状态有关。通过恢复operators的状态并从检查点开始重放事件，可以从检查点恢复流数据流，同时保持一致性_（一次处理语义）_。
检查点间隔是在执行过程中权衡容错开销与恢复时间（需要重播的事件数）的一种方法。
容错内部的描述提供了有关Flink如何管理检查点和相关主题的更多信息。有关启用和配置检查点的详细信息，请参见checkpointing API文档。
串流处理
Flink执行批处理程序，这是流程序的特例，其中流是有界的（元素数量有限）。甲_数据集_在内部视为数据流。因此，以上概念以同样的方式适用于批处理程序，也适用于流式程序，但有少量例外：
