本文主要介绍hdfs dfs du命令相关的介绍，包括dfs.content-summary.limit和dfs.content-summary.sleep-microsec参数详解。 du介绍 hdfs dfs du命令本质上对应的是linux du命令。du命令是一个Linux文件系统命令，用于统计目录（或文件）所占磁盘空间的大小。du命令中的…

本文主要介绍hdfs回收站功能，并简单解析参数fs.trash.interval，fs.trash.checkpoint.interval和hadoop.shell.safely.delete.limit.num.files。 回收站简介 回收站功能主要涉及文件或数据的删除和恢复操作。在大多数操作系统和文件管理系统中，回收站都扮演着重要的角色。回收…

本文主要分析安全认证参数，包括rpc和数据传输安全相关的参数。 写在前面 请先阅读HDFSRPC协议详解、HDFSRPC安全认证Kerberos篇、HDFSRPC安全认证Token篇、HDFSRPC安全认证Token篇2，对整体的框架有一定的了解。 参数列表 参数 默认值 描述 hadoop.security.authentication simp…

本文主要介绍hdfs lease的设计以及实现。 写在前面 https://www.cnblogs.com/jhcelue/p/6783076.html https://blog.csdn.net/yexiguafu/article/details/118890014 https://www.jianshu.com/p/33e1a5a2b876 h…

本文为HDFSRPC安全认证Token的补充。主要阐述Token的结构，Token相关RPC接口以及Token如何使用。 写在前面 请先阅读HDFSRPC安全认证Token篇。 Token简介 Token作为Kerberos的补充，当完成kerberos验证以后，服务主体的可以通过getDelegationToken接口来获取token，后续cli…

dfs.ls.limit主要用于查询目录下的子文件，子文件单次返回最大个数。默认值为1000。 NameNodeRpcServer.java @Override // ClientProtocol public DirectoryListing getListing(String src, byte[] startAfter, boolean ne…

写在前面 请先阅读HDFSRPC通信框架详解，对整体框架先有一定的了解。 参数列表 参数 默认值 描述 ipc.server.read.connection-queue.size 100 reader ipc.server.read.threadpool.size 1 reader ipc.server.listen.queue.size 128 …

本文主要对HDFSRPC通信框架解析。包括listener，reader，handler，responser等实现类的源码分析。注意hadoop版本为3.1.1。 写在前面 rpc肯定依赖于socket通信，并且使用的是java NIO。读者最好对nio有一定的了解，文章中不会对相关知识作过多的介绍。 https://blog.csdn.net/y…

此参数主要是配置hdfs的超级部门，默认值是supergroup。 这个参数主要在FSNamesystem类中用于创建root目录。 PermissionStatus createFsOwnerPermissions(FsPermission permission) {return new PermissionStatus(fsOwner.getS…

本文将用启发式的方式去做java hashmap的源码分析。 刚入门ACM的时候，经常会处理字符串相关问题。下面有一道很常规的题： 计算一个小写英文字符串中每个字符出现的频率。 如果不了解ASCII，用Java直接实现： public class TestMap { public static void main(String[] args…