hadoop 2.6 采用 谷歌protocol buffer作为通信协议，但是protocol buffer 相对于Thrift ，需要自己实现一套底层通信框架。
hadoop Server类及其相关类，采用java NIO 及 多reactor 模式，外加多线程，实现了服务端高并发通信，构建了强有力的分布式基础设施。
今天剖析下其代码实现。
java NIO 服务端 reactor 模式实现的关键是 Selector 类对象，Selector 监控需要观察的事件，并返回就绪的 Set < SelectionKey>，然后进行处理。
hadoop 为提高效率，使用了三类reactor :
1、用于监听连接的 selector （一个）
2、用于监听读事件的 readSelector （每个reader 线程一个）
3、用于监听写事件的 writeSelector （一个）
服务端所用的线程池并非是ExecutorService，而是构造的线程数组
如Reader 线程
我要评论
for (int i = 0; i < readThreads; i++) {
Reader reader = new Reader(
"Socket Reader #" + (i + 1) + " for port " + port);
readers[i] = reader;
reader.start();
}
单个线程，用于监听连接，持有selector ，然后从 Reader[]线程组内挑选一个线程接受监听好的SelectionKey
reader 线程组负责读取连接上的读请求，并传递给 Handler线程组，每个线程持有一个readSelector
hander 线程组负责处理请求并返回响应，未能成功返回的响应交Responder
持有一个writeSelector，监听写事件
reader hander ，这两个线程组，通过callQueue进行数据交互，callQueue是两个线程类的外部类Server类的成员
//外部类 Server类的成员 CallQueueManager< Call > callQueue
如对本文有疑问， 点击进行留言回复！！
网友评论