最近遇到运行yarn pi的时候遇到如下问题。 很明显是container出错了，但是错误没有提示的很清楚。然后去看nodemanager日志也是如此。这时候笔者第一个想到要去看container的执行日志。container具体的日志目录位置是通过YARN的配置文件（如yarn-site.xml）中的yarn.nodemanager.log-di…

本文主要介绍hdfs dfs du命令相关的介绍，包括dfs.content-summary.limit和dfs.content-summary.sleep-microsec参数详解。 du介绍 hdfs dfs du命令本质上对应的是linux du命令。du命令是一个Linux文件系统命令，用于统计目录（或文件）所占磁盘空间的大小。du命令中的…

本文主要介绍hdfs回收站功能，并简单解析参数fs.trash.interval，fs.trash.checkpoint.interval和hadoop.shell.safely.delete.limit.num.files。 回收站简介 回收站功能主要涉及文件或数据的删除和恢复操作。在大多数操作系统和文件管理系统中，回收站都扮演着重要的角色。回收…

本文主要分析安全认证参数，包括rpc和数据传输安全相关的参数。 写在前面 请先阅读HDFSRPC协议详解、HDFSRPC安全认证Kerberos篇、HDFSRPC安全认证Token篇、HDFSRPC安全认证Token篇2，对整体的框架有一定的了解。 参数列表 参数 默认值 描述 hadoop.security.authentication simp…

本文主要介绍hdfs lease的设计以及实现。 写在前面 https://www.cnblogs.com/jhcelue/p/6783076.html https://blog.csdn.net/yexiguafu/article/details/118890014 https://www.jianshu.com/p/33e1a5a2b876 h…

本文为HDFSRPC安全认证Token的补充。主要阐述Token的结构，Token相关RPC接口以及Token如何使用。 写在前面 请先阅读HDFSRPC安全认证Token篇。 Token简介 Token作为Kerberos的补充，当完成kerberos验证以后，服务主体的可以通过getDelegationToken接口来获取token，后续cli…

dfs.ls.limit主要用于查询目录下的子文件，子文件单次返回最大个数。默认值为1000。 NameNodeRpcServer.java @Override // ClientProtocol public DirectoryListing getListing(String src, byte[] startAfter, boolean ne…

写在前面 请先阅读HDFSRPC通信框架详解，对整体框架先有一定的了解。 参数列表 参数 默认值 描述 ipc.server.read.connection-queue.size 100 reader ipc.server.read.threadpool.size 1 reader ipc.server.listen.queue.size 128 …

本文主要对HDFSRPC通信框架解析。包括listener，reader，handler，responser等实现类的源码分析。注意hadoop版本为3.1.1。 写在前面 rpc肯定依赖于socket通信，并且使用的是java NIO。读者最好对nio有一定的了解，文章中不会对相关知识作过多的介绍。 https://blog.csdn.net/y…

本文主要阐述HDFSRPC安全认证相关的实现。主要介绍Token相关的实现。 写在前面 相关blog https://blog.csdn.net/hncscwc/article/details/124722784 https://blog.csdn.net/hncscwc/article/details/124958357 Token由来 在探究完…