步骤2:编写SQL脚本 在SQL 编辑器中输入 SQL 加工的脚本内容,SQL 语句的编写请参考 SQL 开发指南 完成SQL脚本的开发后,单击保存,保存 SQL 草稿作业 步骤3:作业调试 在完成SQL编辑后,点击作业调试按钮,弹出作业调试配置弹窗 选择源表的调试数据来源,设置调试结果输出方式,在选择使用调试数据来源为线上数据、结果以控制台方式输出,点击执行
作业开发 > SQL开发。 在SQLConsole窗口,选择Spark引擎,并选择Job型或Interactive型资源组。 输入以下语句,并单击执行SQL(F8),创建一个名为test_spark_db的库。 CREATE DATABASE test_spark_db;在test_spark_db库中创建ODS层的无索引、有分区的表adb_spark_ods,并插入数据。 CREATE TABLE test_spark_db.adb_...
在检测到生成了特定算子且数据计算无误的情况下,可以调整配置项为'table.exec.sink.upsert-materialize'='none'(配置步骤请参见如何配置作业运行参数?),以避免自动添加SinkUpsertMaterializer。实时计算引擎VVR 8.0及以上版本中引入了SQL执行计划智能分析功能,协助您更好地识别此类问题,如下图所示。
云原生数据仓库 AnalyticDB MySQL 版支持通过SQL开发编辑器或JDBC方式提交XIHE BSP SQL作业。本文介绍XIHE BSP SQL作业开发的适用场景、提交方法、常见配置参数及常见问题。 前提条件 已在企业版、基础版或湖仓版集群中创建Job型资源组。具体操作,请参见新建资源组。 已创建企业版、基础版或湖仓版集群的数据库账号。
在页面左侧,在需要操作的文件夹上单击右键,选择新建作业。 在新建作业对话框中,输入作业名称和作业描述,从作业类型下拉列表中选择Impala SQL作业类型。 此类型作业,实际是通过以下方式提交的Impala SQL作业。 impala-shell -f {SQL_CONTENT} [options]; 参数描述如下表。 参数 说明 SQL_CONTENT 填写的SQL语句。 op...
提升双流Join类型作业的性能配置 流式SQL中双流Join算子支持自动推导开启KV分离优化。在实时计算引擎VVR 6.0.1及以上版本中,SQL作业双流Join算子会根据作业特点,自动推导并开启State KV分离优化功能,无需您额外配置。开启State KV分离优化功能后,可以显著提升双流Join类型作业的性能。在典型场景的性能测试中,有40%以上的...
在使用Flink开发控制台编辑SQL作业时,只需要输入部分字符,系统即可自动补全字段和表名称。 代码示例如下。 --创建源表datagen_source。 CREATE TEMPORARY TABLE datagen_source( name VARCHAR ) WITH ( 'connector' = 'datagen' ); --创建结果表blackhole_sink。 CREATE TEMPORARY TABLE blackhole_sink( name VARCHAR...
MaxCompute支持您通过Azkaban实现作业调度,帮助您高效地完成高频数据分析工作。本文以通过MaxCompute客户端执行命令(Command)的方式为例为您介绍如何使用Azkaban调度SQL作业。 背景信息 Azkaban是一套作业调度系统,可以调度Command、Hadoop MapReduce、Hive、Spark、Pig等类型作业,而且支持自定义Plugin,其中最简单而且最常用的是...
日志服务定时SQL已内置监控规则模板,您只需添加对应的告警规则即可实时监控定时SQL任务,并可通过钉钉等渠道接收到告警通知。本文介绍设置告警的相关操作。 前提条件 已创建定时SQL任务。 如果是将源Logstore中的数据通过定时SQL处理后存储到目标Logstore,请参见从Logstore到Logstore。 如果是将源Logstore中的数据通过定时SQ...
执行查询和分析操作。 在页面右上角,单击15分钟(相对),设置查询和分析的时间范围。 直接输入PromQL语句,单击立即执行。 具体操作,请参见查询和分析时序数据。 说明 本步骤为定时SQL任务的预览操作,用于验证您所使用的查询和分析语句是否正确,执行结果是否有数据。