Source code

Download source archive ↓

README_zh.md

1# Galaxy 可移植算子
2
3每个算子通过 XStream Python SDK 提供固定版本 Galaxy 工具中的一项具名操作。输入为具名 Arrow `bytes` 流,输出为 `result` 字节流。每份源码包包含对应的上游 XML、移植时使用的辅助源码、哈希清单、示例步骤及测试数据。仓库中的示例可与 `item_source` 和 `client_sink` 串接使用。
4
5算子在处理前校验输入端口和参数。每个输入最多 4 MiB,文本输入最多 25,000 行,结果最多 8 MiB。算子在内存中处理读完且通过大小校验的输入。预览只使用完整样本,每个端口最多 4 KiB。格式、默认值及支持范围见仓库中的各算子页面。
6
7## 验证与发布
8
9在本目录下运行以下命令。目标仓库需要已提供 `python-arrow@2.0`。
10
11```sh
12python3 publish.py --url https://repo.conox.cn --password-file /secure/admin-password \
13  --output /tmp/galaxy-portable-results --family datamash
14```
15
16脚本通过仓库的提交 API 触发隔离构建,验证构建产物的分块 Arrow 读写、结构推导、预览范围和非法参数处理,通过后才审批,并对比公开下载与已测产物的字节。中断后可从待审批提交和已公开的版本继续。请将验证结果存放在私有目录。通过 `--password-file` 指定凭据文件,或者用 `--admin-ssh` 指定已授权的 SSH 主机读取密码。密码不会写入源码包或命令行。
17
18## 支持的操作
19
2026 个 Datamash 步骤包含按行反转字段顺序和多项独立统计。每个统计步骤计算一个具名统计量,支持按 TSV 的某一列分组。分组键按字典顺序排列,数值输出保留 12 位有效数字,未定义的统计量用 `NA` 表示。`galaxy_datamash_reverse` 反转每行内部的字段顺序。
21
2249 个 ImageJ 和 ImageMagick 步骤接收最大 512 × 512 像素的静态 8 位非隔行灰度 PNG。操作包括逐像素运算、旋转、裁剪、缩放、邻域滤波、阈值、对比度、固定种子的噪声、拼图、叠加和图像比较。PNG 输出保留二维像素结构,比较指标输出 TSV。各算子页面说明核形状、取整规则等具体约定。
23
2417 个文本和格式处理步骤覆盖 JSON Lines 收集与转换、TSV 分组和三路连接、BIOM 1.0 表格、简单无权图的格式互转,以及单工作表的 CSV 到 XLSX 转换。BIOM 输出保留轴元数据及稠密或稀疏矩阵表示。XLSX 中的值以字面文本写入。
25
26## 运行示例
27
28源码包的 `fixtures/` 目录包含示例输入。直接运行包内的 `job.yaml` 时,将这些文件放入本地 XStream 引擎中名为 `galaxy` 的数据集根目录。公开目录核验脚本可下载公开源码和算子包,并通过独立引擎运行全部示例。
29
30```sh
31python3 audit.py --artifact-tests /tmp/galaxy-portable-results \
32  --output /tmp/galaxy-portable-audit.json \
33  --runner /path/to/xstream-runner --work /tmp/galaxy-portable-jobs
34```