本文主要阐述HDFSRPC安全认证相关的实现。主要介绍Kerberos相关的实现。 写在前面 相关blog可以先看一下 https://segmentfault.com/a/1190000039085046?sort=newest https://blog.csdn.net/qq_35995514/article/details/106348765…

本文档主要阐述datanode中一个socket连接接收字节流的构成，帮助datanode的接收与处理数据。注意hadoop版本为3.1.1。 写在前面 Datanode本质上也是TCPServer，一般的TCPServer接到客户端请求以后会分配一个线程处理，对于Datanode而言，这个线程可以叫做Op处理连接。每个OP连接会多次和客户端交互，…

本文主要阐述HDFSRPCserver端一个socket连接接收字节流的构成，帮助读者理解HDFSRPC协议。注意hadoop版本为3.1.1。 写在前面 关于proto写入和读取，使用writeDelimitedTo和read，应该是通用的方式，不作过多的介绍。 处理rpc各种情况以后server都会使用统一的应答格式（包含错误与正确），即 Rp…

此参数主要是配置hdfs的超级部门，默认值是supergroup。 这个参数主要在FSNamesystem类中用于创建root目录。 PermissionStatus createFsOwnerPermissions(FsPermission permission) {return new PermissionStatus(fsOwner.getS…

要实现网站图片水印，有几种方式：1、对于自己想要上传图片先通过某些软件增加水印，然后再上传到图片服务器。2、通过上传客户端（eg：picgo）功能或插件直接自动水印以及上传服务器。本文主要聚焦于第二种方式，使用的上传工具也是picgo。 watermark插件 watermark可以实现水印的添加。 watermark插件安装 一般来说可以直接通过…

当你完成整个网站的构建，可能需要考虑一下网站访问速度的问题。网站和图床分离可以提高网站的访问速度。大家可以关注一下当前所有的大型网站，他们的图片URL一般都会用其他二级域名，其服务器也是独立的服务器。现在很多的网站上都会用到大量的图片，而图片是网页传输中占主要的数据量,也是影响网站性能的主要因素。当然对于我们blog网站也没必要再买一个服务来做图片…

配置ssl 如果你已经完成个人blog网站搭建1步骤，你会得到一个http的网站。互联网上的网站一般都是https，你需要一个ssl的证书。你可以在代理商上申请免费证书，现在都是3个月，类似这样。 申请完证书以后，需要下载证书部署到网站服务器上。如果你用的是代理商上的应用镜像，大概率使用的nginx web服务器，如果你自己搭建，也建议使用ngin…

写在前面 建立网站最好有一定计算机基础，需要了解以下几个概念：域名：网站必须需要地址，这样别人才能在浏览器中输入你的域名来访问你的网站，本质上是通过ip来访问你的网站，可以了解以下域名解析。服务器：一个有公网ip的计算机，用来存放你的网站。计算机倒是简单，pc机也可以，但是公网ip一般都是网络运营商才有，而且价格不菲。随着近几年互联网的发展，虚拟化…

本文将用启发式的方式去做java hashmap的源码分析。 刚入门ACM的时候，经常会处理字符串相关问题。下面有一道很常规的题： 计算一个小写英文字符串中每个字符出现的频率。 如果不了解ASCII，用Java直接实现： public class TestMap { public static void main(String[] args…

Hadoop RPC框架原理 RPC是远程过程调用（Remote Procedure Call）的缩写形式。RPC主要目的是能让应用层可以像调用本地方法一样调用远程方法。既然是远程调用，肯定是采用了c/s架构。我们可以先分析一下client和server分别要完成什么事情。 Client：当应用层调用方法时，肯定要先建立连接，然后把方法和参数都通过…