在使用 surge节点时，节点设置是一个关键步骤，直接影响数据处理和分析的效果。以下是对 surge节点设置方法的详细说明

DataNode（数据节点）

功能：创建数据节点，用于存储数据，可能包含多个数据源。

• 参数：
  • name：节点的唯一名称，用于标识。
  • type：数据类型，如default、record或clob。
  • dataSources：包含多个数据源，每个数据源包含name和type。

示例：

DataNode('my_data', 'default', [
  DataNode('my_data1', 'default', ['data1.txt']),
  DataNode('my_data2', 'default', ['data2.json'])
])

WindowNode（窗口节点）

功能：计算按时间窗口的统计值，如平均值、最大值等。

• 参数：
  • name：节点名称。
  • start：开始时间，时间类型。
  • end：结束时间，时间类型。

示例：

WindowNode('window_avg', 'my_window', {
  'name': 'my_window',
  'start': '223-1-1',
  'end': '223-1-1'
})

FilterNode（过滤节点）

功能：根据条件筛选数据。

• 参数：
  • name：节点名称。
  • condition：过滤条件，如数值范围或逻辑条件。
  • include：决定是否保留筛选结果。

示例：

FilterNode('filter_data', 'my_filter', {
  'name': 'my_filter',
  'condition': 'value > 1',
  'include': true
})

VisualNode（图表节点）

功能：创建图表，用于可视化数据。

• 参数：
  • name：图表名称。：图表标题。
  • data：数据源参数化处理。

示例：

VisualNode('my_visual', 'my_visual', {: '数据分布图',
  'data': {
    'x': ['值1', '值2', '值3'],
    'y': [1, 2, 3]
  }
})

IndexNode（索引节点）

功能：创建节点索引，提升查询效率。

• 参数：
  • name：节点名称。
  • index_type：索引类型，如default_index、create_index。
  • index_level：索引层次。

示例：

IndexNode('my_index', 'my_index', {
  'index_type': 'create_index',
  'index_level': 'my_table'
})

NodeNode（节点连接节点）

功能：创建数据流节点，用于连接节点。

• 参数：
  • name：节点名称。
  • node1：前一个节点。
  • node2：后一个节点。

示例：

NodeNode('my_node', 'my_node', {
  'node1': 'my_data',
  'node2': 'my_window'
})

NodeField（字段节点）

功能：定义字段，用于数据处理。

• 参数：
  • name：字段名称。
  • type：字段类型，如string、number或timestamp.

示例：

NodeField('my_field', 'my_field', {
  'name': 'value',
  'type': 'number'
})

NodePre（预处理节点）

功能：对数据进行预处理，如归一化、排序等。

• 参数：
  • name：节点名称。
  • data：参数化处理。

示例：

NodePre('preprocess', 'my_pre', {
  'data': {
    'value': [1, 2, 3, 4, 5]
  }
})

调试与验证

在设置节点时,可能需要调试或使用工具验证节点是否正确工作，可以通过查看节点的输出、数据流的连接情况，以及结果的可视化效果来验证节点设置是否正确。

在使用 surge时，节点设置是关键步骤，需要根据数据特点和分析需求选择合适的节点，并正确设置参数，通过合理配置节点，可以优化数据处理和分析效率。