默认单个进程打开的FD有限制是1024个,可修改宏定义,但是效率仍然慢。 poll机制 基本原理与select一致,也是轮询+遍历;唯一的区别就是poll没有最大文件描述符限制(使用链表的方式存储fd)。 epoll机制 基本原理 没有fd个数限制,用户态拷贝到内核态只需要一次,使用时间通知机制来触发。通过epoll_ctl注册fd,一旦fd就绪就...
maxStateSize <= akka.framesize 默认10M 总大小不能超过JobMananger 的内存 推荐场景: 本地测试 状态比较少的作业 不推荐生产环境中使用 4.4.2 FsStateBackend 构造方法:env.setStateBackend( new FsStateBackend(tmpPath)) 数据存储 状态数据:TaskManager 内存 Checkpoint:外部文件系统(本地或HDFS) 容量限制 ...