DataFlow

DataFlow

基于大模型算子的数据准备流水线

AI官网

应用介绍

为大模型准备训练数据,清洗、过滤、合成、改写每一步都要写脚本,流程难复用。DataFlow 用基于大模型的算子和流水线轻松完成数据准备,覆盖清洗、合成和质量评估。

它提供大量现成算子和预置流水线,支持 vLLM 和 SGLang 后端,还有 Gradio 界面,论文收录于 SIGMOD 2027。

软件功能



大模型算子:清洗、合成、评估。

预置流水线:开箱即用。

推理后端:vLLM 与 SGLang。

图形界面:Gradio 操作。