本文主要阐述HDFSRPC安全认证相关的实现。主要介绍Token相关的实现。 写在前面 相关blog https://blog.csdn.net/hncscwc/article/details/124722784 https://blog.csdn.net/hncscwc/article/details/124958357 Token由来 在探究完…

本文主要阐述HDFSRPC安全认证相关的实现。主要介绍Kerberos相关的实现。 写在前面 相关blog可以先看一下 https://segmentfault.com/a/1190000039085046?sort=newest https://blog.csdn.net/qq_35995514/article/details/106348765…

本文档主要阐述datanode中一个socket连接接收字节流的构成，帮助datanode的接收与处理数据。注意hadoop版本为3.1.1。 写在前面 Datanode本质上也是TCPServer，一般的TCPServer接到客户端请求以后会分配一个线程处理，对于Datanode而言，这个线程可以叫做Op处理连接。每个OP连接会多次和客户端交互，…

本文主要阐述HDFSRPCserver端一个socket连接接收字节流的构成，帮助读者理解HDFSRPC协议。注意hadoop版本为3.1.1。 写在前面 关于proto写入和读取，使用writeDelimitedTo和read，应该是通用的方式，不作过多的介绍。 处理rpc各种情况以后server都会使用统一的应答格式（包含错误与正确），即 Rp…

此参数主要是配置hdfs的超级部门，默认值是supergroup。 这个参数主要在FSNamesystem类中用于创建root目录。 PermissionStatus createFsOwnerPermissions(FsPermission permission) {return new PermissionStatus(fsOwner.getS…

要实现网站图片水印，有几种方式：1、对于自己想要上传图片先通过某些软件增加水印，然后再上传到图片服务器。2、通过上传客户端（eg：picgo）功能或插件直接自动水印以及上传服务器。本文主要聚焦于第二种方式，使用的上传工具也是picgo。 watermark插件 watermark可以实现水印的添加。 watermark插件安装 一般来说可以直接通过…

当你完成整个网站的构建，可能需要考虑一下网站访问速度的问题。网站和图床分离可以提高网站的访问速度。大家可以关注一下当前所有的大型网站，他们的图片URL一般都会用其他二级域名，其服务器也是独立的服务器。现在很多的网站上都会用到大量的图片，而图片是网页传输中占主要的数据量,也是影响网站性能的主要因素。当然对于我们blog网站也没必要再买一个服务来做图片…

配置ssl 如果你已经完成个人blog网站搭建1步骤，你会得到一个http的网站。互联网上的网站一般都是https，你需要一个ssl的证书。你可以在代理商上申请免费证书，现在都是3个月，类似这样。 申请完证书以后，需要下载证书部署到网站服务器上。如果你用的是代理商上的应用镜像，大概率使用的nginx web服务器，如果你自己搭建，也建议使用ngin…