【pyspark】array_contains的用法 需要实现的操作: spark dataframe 中A列类型为StringType(), B列是ArrayType(),要判断每条记录中A列的值是否在B列中 我尝试了 .isin(...) 以及 spark.sql 中 in 的一些写法都失败了,后来发现可以使用 array_contains(..., ...)。 new_data1 = sqlContext.sql("SELECT...
本文简要介绍 pyspark.sql.functions.array_contains 的用法。 用法: pyspark.sql.functions.array_contains(col, value) 集合函数:如果数组为null,则返回null,如果数组包含给定值则返回true,否则返回false。 1.5.0 版中的新函数。 参数: col: Column 或str 包含数组的列的名称 value :: 要在数组中检查的值或...
基于多个值的pyspark数据阵列的处理 、、 我可以使用array_contains来检查数组是否包含一个值。test = test.withColumn("my_boolean", .otherwise(0))test = test.withCo 浏览4提问于2021-11-05得票数2 回答已采纳 1回答 如何使用SQL将JSON对象数组作为参数传递给ARRAY_CONTAINS函数 ...