Source code

Download source archive ↓

README_zh.md

1# Galaxy 可移植算子
2
3每个算子通过 XStream Python SDK 提供固定版本 Galaxy 工具中的一项具名操作。输入为具名 Arrow `bytes` 流,输出为 `result` 字节流。每份源码包包含对应的上游 XML、移植时使用的辅助源码、哈希清单、示例步骤及测试数据。仓库中的示例可与 `item_source` 和 `client_sink` 串接使用。
4
5算子在处理前校验输入端口和参数。每个输入最多 4 MiB,文本输入最多 25,000 行,结果最多 8 MiB。算子在内存中处理读完且通过大小校验的输入。预览只使用完整样本,每个端口最多 4 KiB。格式、默认值及支持范围见仓库中的各算子页面。
6
7## 验证与发布
8
9在本目录下运行以下命令。目标仓库需要已提供 `python-arrow@2.0`。
10
11```sh
12python3 publish.py --url https://repo.conox.cn --password-file /secure/admin-password \
13  --output /tmp/galaxy-portable-results --family datamash
14```
15
16脚本通过仓库的提交 API 触发隔离构建,验证构建产物的分块 Arrow 读写、结构推导、预览范围和非法参数处理,通过后才审批,并对比公开下载与已测产物的字节。中断后可从待审批提交和已公开的版本继续。请将验证结果存放在私有目录。通过 `--password-file` 指定凭据文件,或者用 `--admin-ssh` 指定已授权的 SSH 主机读取密码。密码不会写入源码包或命令行。
17
18每个 Datamash 步骤只计算一个具名统计量,支持按 TSV 的某一列分组。分组键按字典顺序排列,数值输出保留 12 位有效数字,未定义的统计量用 `NA` 表示。`galaxy_datamash_reverse` 反转每行内部的字段顺序。