年度归档: 2024 年

39 篇文章

Container exited with a non-zero exit code 1
最近遇到运行yarn pi的时候遇到如下问题。 很明显是container出错了,但是错误没有提示的很清楚。然后去看nodemanager日志也是如此。这时候笔者第一个想到要去看container的执行日志。container具体的日志目录位置是通过YARN的配置文件(如yarn-site.xml)中的yarn.nodemanager.log-di…
dfs.content-summary.limit详解
本文主要介绍hdfs dfs du命令相关的介绍,包括dfs.content-summary.limit和dfs.content-summary.sleep-microsec参数详解。 du介绍 hdfs dfs du命令本质上对应的是linux du命令。du命令是一个Linux文件系统命令,用于统计目录(或文件)所占磁盘空间的大小。du命令中的…
fs.trash.interval详解
本文主要介绍hdfs回收站功能,并简单解析参数fs.trash.interval,fs.trash.checkpoint.interval和hadoop.shell.safely.delete.limit.num.files。 回收站简介 回收站功能主要涉及文件或数据的删除和恢复操作。在大多数操作系统和文件管理系统中,回收站都扮演着重要的角色。回收…
HDFS安全认证参数详解
本文主要分析安全认证参数,包括rpc和数据传输安全相关的参数。 写在前面 请先阅读HDFSRPC协议详解、HDFSRPC安全认证Kerberos篇、HDFSRPC安全认证Token篇、HDFSRPC安全认证Token篇2,对整体的框架有一定的了解。 参数列表 参数 默认值 描述 hadoop.security.authentication simp…
HDFS Lease详解
本文主要介绍hdfs lease的设计以及实现。 写在前面 https://www.cnblogs.com/jhcelue/p/6783076.html https://blog.csdn.net/yexiguafu/article/details/118890014 https://www.jianshu.com/p/33e1a5a2b876 h…
HDFSRPC安全认证Token篇2
本文为HDFSRPC安全认证Token的补充。主要阐述Token的结构,Token相关RPC接口以及Token如何使用。 写在前面 请先阅读HDFSRPC安全认证Token篇。 Token简介 Token作为Kerberos的补充,当完成kerberos验证以后,服务主体的可以通过getDelegationToken接口来获取token,后续cli…
dfs.ls.limit详解
dfs.ls.limit主要用于查询目录下的子文件,子文件单次返回最大个数。默认值为1000。 NameNodeRpcServer.java @Override // ClientProtocol public DirectoryListing getListing(String src, byte[] startAfter, boolean ne…
HDFSRPC通信框架参数详解
写在前面 请先阅读HDFSRPC通信框架详解,对整体框架先有一定的了解。 参数列表 参数 默认值 描述 ipc.server.read.connection-queue.size 100 reader ipc.server.read.threadpool.size 1 reader ipc.server.listen.queue.size 128 …
HDFSRPC通信框架详解
本文主要对HDFSRPC通信框架解析。包括listener,reader,handler,responser等实现类的源码分析。注意hadoop版本为3.1.1。 写在前面 rpc肯定依赖于socket通信,并且使用的是java NIO。读者最好对nio有一定的了解,文章中不会对相关知识作过多的介绍。 https://blog.csdn.net/y…
HDFSRPC安全认证Token篇
本文主要阐述HDFSRPC安全认证相关的实现。主要介绍Token相关的实现。 写在前面 相关blog https://blog.csdn.net/hncscwc/article/details/124722784 https://blog.csdn.net/hncscwc/article/details/124958357 Token由来 在探究完…