本文为HDFSRPC安全认证Token的补充。主要阐述Token的结构，Token相关RPC接口以及Token如何使用。 写在前面 请先阅读HDFSRPC安全认证Token篇。 Token简介 Token作为Kerberos的补充，当完成kerberos验证以后，服务主体的可以通过getDelegationToken接口来获取token，后续cli…

dfs.ls.limit主要用于查询目录下的子文件，子文件单次返回最大个数。默认值为1000。 NameNodeRpcServer.java @Override // ClientProtocol public DirectoryListing getListing(String src, byte[] startAfter, boolean ne…

写在前面 请先阅读HDFSRPC通信框架详解，对整体框架先有一定的了解。 参数列表 参数 默认值 描述 ipc.server.read.connection-queue.size 100 reader ipc.server.read.threadpool.size 1 reader ipc.server.listen.queue.size 128 …

本文主要对HDFSRPC通信框架解析。包括listener，reader，handler，responser等实现类的源码分析。注意hadoop版本为3.1.1。 写在前面 rpc肯定依赖于socket通信，并且使用的是java NIO。读者最好对nio有一定的了解，文章中不会对相关知识作过多的介绍。 https://blog.csdn.net/y…

本文主要阐述HDFSRPC安全认证相关的实现。主要介绍Kerberos相关的实现。 写在前面 相关blog可以先看一下 https://segmentfault.com/a/1190000039085046?sort=newest https://blog.csdn.net/qq_35995514/article/details/106348765…

本文主要阐述HDFSRPCserver端一个socket连接接收字节流的构成，帮助读者理解HDFSRPC协议。注意hadoop版本为3.1.1。 写在前面 关于proto写入和读取，使用writeDelimitedTo和read，应该是通用的方式，不作过多的介绍。 处理rpc各种情况以后server都会使用统一的应答格式（包含错误与正确），即 Rp…