在本次分析的案例中,受害机器部署有Hadoop YARN,并且存在未授权访问的安全问题,黑客直接利用开放在8088的REST API提交执行命令,来实现在服务器内下载执行.sh脚本,从而再进一步下载启动挖矿程序达到挖矿的目的。 整个利用过程相对比较简单,通过捕捉Hadoop 的launch_container.sh执行脚本,我们可以看到其中一个案例中
Hadoop YARN REST API 未授权访问导致远程代码执行漏洞: CVE-2021-33036/CNVD-2022-51055 1. 前言 最近某客户的信息安全部又扫出来一个大数据hadoop的安全漏洞,在此简单分析下该漏洞给给出解决方案。 2. 漏洞信息 在如下 hadoop 版本中,利用该漏洞,任何可以切换到/提升权限到 yarn 用户的普通用户,都可以以 root...
Request;importorg.apache.hadoop.yarn.client.api.async.impl.AMRMClientAsyncImpl;importorg.apache.hadoop.yarn.client.api.impl.AMRMClientImpl;importorg.apache.hadoop.yarn.exceptions.YarnException;importcom.google.common.annotations.VisibleForTesting;/*** AMRMClientAsync handles communication with the Resour...
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 YARN是hadoop系统上的资源统一管理平台,其主要作用是实现集群资源的统一管理和调度,可以把MapReduce计算框架作为一个应用程序运行在YARN系统之上,YARN提供有默认开放在8088和8090的REST API(默认前者)允许用户直接通过API进行相关的应用创建、任务提交执行等操作,如果...
要检测Hadoop YARN REST API的远程代码执行漏洞,可以采取以下方法: 漏洞扫描:使用专业的漏洞扫描工具对Hadoop集群进行扫描,以检测是否存在未授权访问和远程代码执行漏洞。 日志分析:检查Hadoop YARN的日志文件,查找任何异常或可疑的活动,这些活动可能表明存在未授权访问或远程代码执行。 配置审计:检查Hadoop YARN的配置文件...
hadoop URLCat hdfs://localhost/user/tom/quangle.txt 3.通过FileSystem API读取数据 FileSystem是一个通用的文件系统API,所以第一步是检索我们需要使用的文件系统实例,这里是HDFS. 获取FileSystem实例有两种静态工厂方法: public static FileSystem get(Configurationconf)throws IOException ...
YARN 是“ Yet Another Resource Negotiator ”的缩写。 Hadoop 仅仅是 HDFS 和 MapReduce 计算框架的组合。 正如我们所看到的,在 Hadoop 中, YARN 位于 HDFS 层(依赖于服务器本地存储)和计算框架(如 MapReduce 、 Spark )之间。 YARN 的主要功能是进行资源管理和调度。
Hadoop YARN的web服务 REST API是一组向集群,节点,应用程序和应用历史信息提供访问的URI资源,该URI资源被分组为基于返回的信息的类型的API。一些URI资源返回集合而另一些返回单个信息。 2、URI’s 对于基于REST的web服务的URI语法如下 http://{http address of service}/ws/{version}/{resourcepath} ...
hadoop-yarn/hadoop-yarn-api-0.23.8.jar.zip( 857 k) The download jar file contains the following class files or Java source files. META-INF/MANIFEST.MF META-INF/maven/org.apache.hadoop/hadoop-yarn-api/pom.properties META-INF/maven/org.apache.hadoop/hadoop-yarn-api/pom.xml org.apache.hadoo...
在2018年5月，腾讯云安全针对Hadoop Yarn资源管理系统REST API未授权漏洞进行了预警。此漏洞允许攻击者在未授权情况下远程执行代码，从而对服务器进行攻击。云鼎实验室在预警前后的案例中，多次捕获利用该问题进行挖矿的攻击案例，并对其中一个案例进行了深入分析。Hadoop是一个分布式系统基础架构，YARN是其资源...