快速入门
众包数据标注任务
数据标注操作步骤

数据标注操作步骤

作为数据标注需求方，您需要完成以下步骤：

阶段一：前置准备工作

完成本地开发环境准备及平台接入账号、项目权限准备。

阶段二：基于 AOP IDL 定义数据标注任务

基于 AOP 完成 IDL 任务、智能体定义，将 IDL 生成为可执行代码。

阶段三：测试环境调试

将智能体部署运行在平台提供的测试环境，验证发题、做题流程。

阶段四：正式发布线上众包任务

将题目发送至有灵众包线上环境，回收数据标注结果。

阶段一：前置准备工作

注册邮箱

注册 163 邮箱或 126 邮箱账号。（注：网易伏羲内部用户可直接通过个人 corp 邮箱登录，无需注册）

本地开发环境

请在您的本地开发环境完成以下软件的准备。

软件版本要求安装方式举例
操作系统Windows / Linux 操作系统，Mac 暂未支持下文以 windows 为例
Git无安装 Git：https://git-scm.com/download/win (opens in a new tab)
Python & PIPPython 版本要求：3.8-3.10
Pip 版本要求：建议 pip 23.x		安装 Python 3.8-3.10：https://www.python.org/ftp/python/3.10.0/python-3.10.0-amd64.exe (opens in a new tab)
IDEVSCode
安装 Git 可视化插件		https://code.visualstudio.com/ (opens in a new tab)

有灵智能体平台

平台访问地址
有灵智能体平台https://youling-platform.apps-hp.danlu.netease.com/project (opens in a new tab)
有灵众包平台（测试环境）https://zhongbao-manage-private.apps-hp.danlu.netease.com/taskManage/offline (opens in a new tab)
有灵众包 C 端（测试环境）https://zhongbao-mobile-private.apps-hp.danlu.netease.com/#/guide (opens in a new tab)
有灵众包平台（线上环境）https://zhongbao-manage.apps-fp.danlu.netease.com (opens in a new tab)

登陆有灵智能体平台

访问有灵智能体平台，选择【网易通行证】方式登陆。

创建项目，启用私服

  1. 选择【新建项目】操作。选择创建空白项目。
  1. 填写项目信息。
  1. 查看项目。【Crowdsourcing】项目为样例，以您的实际项目名称为准。
  1. 选择【服务列表】，用【列表】模式查看。
  1. 找到以个人邮箱命名的私服，选择【启用私服】操作。

复制私服服务器代码

复制个人私服的【服务器代码】路径。供阶段二使用。

有灵众包平台

登陆有灵众包平台（测试环境）

  1. 访问有灵众包平台（测试环境），选择【网易通行证】方式登陆。
  1. 选择【个人版】。初始情况下，任务为空。
  1. 选择右上角用户，选择基本信息。
  1. 选择绑定私服手机号，绑定个人手机号，用于模拟下一步测试环境 C 端用户登陆。

登陆有灵众包 C 端（测试环境）

  1. 打开新的浏览器窗口，登陆有灵众包 C 端（测试环境）。请勿与有灵众包平台（测试环境）使用相同浏览器窗口，否则会造成账号自动切换。
  2. 右键选择检查，进入浏览器开发者模式。
  3. 点击右侧工具栏第二个图标，模拟移动端设备显示效果。
  1. 登录绑定的私服手机号。查看模拟 C 端用户登陆的效果。

阶段二：基于 AOP IDL 定义数据标注任务

拉取私服服务器代码

  1. 已复制有灵智能体平台个人私服的【服务器代码】下载命令。

参照阶段一：有灵智能体平台-复制私服服务器代码。

  1. 本地电脑打开命令行工具。
  1. 切换到某个目录，如 D:\Crowdsourcing。
  1. 执行【服务器代码】命令，从个人私服下载项目服务器代码到本地。
  1. 打开 VSCode ，选择左上角【File】-【Open Folder】导入已下载的项目（custom-server）。
  1. 可以查看已经成功导入的项目工程目录结构。

安装 AOP SDK

使用如下 pip install 指令安装 python AOP SDK 最新版。 安装过程需要 1-2 分钟。

pip3 install --force fuxi-sdk[all] --extra-index-url http://ace-external:IWxhkFffc40YJPvE@apps-hp.danlu.netease.com:41842/repository/ace-external-hosted/simple --trusted-host apps-hp.danlu.netease.com

説明：如遇类似如下兼容性报错，可以忽略。

基于 AOP IDL 开发

  1. 打开 VSCode ，在项目（custom-server）下，新建 IDL 文件，如命名为 aop_idl.py。
  1. 根据业务场景，复制完整示例代码，编写 aop_idl.py。也可参照说明自定义修改。

完整示例代码：【数据标注任务类型】-【图片分类 Demo/语音分类 Demo】IDL 示例代码

将 IDL 生成为可执行代码

  1. 编写好 IDL 文件后，在 VSCode 【Terminal】执行以下命令，生成 AOP 相关的代码目录。
#首次运行请使用
python ./aop_idl.py --generate
 
#若提示已生成过代码，在指令后面添加-f,使用指令：
python ./aop_idl.py -g -f
  1. 执行生成命令之后，您可以看到根目录下，在 与 idl 文件并列的位置，已成功生成 My_Task_Name/ 和 My_Task_Name_Local/ 两个子目录，结构如下:
 
custom-server/    #根目录
    ├── aop_idl.py                  # AOP 的任务、智能体定义代码
    ├── My_Task_Name/               # 服务端代码
    │   ├── sdk/                    # 为服务端开发生成的 SDK 模块 (依据 aop_idl.py)
    │   └── main.py                 # 逻辑代码，适用于 IDL 定义了 Logic 类型能力，本 Demo 不涉及
    └── My_Task_Name_Local/         # 客户端代码
        ├── sdk/                    # 为客户端开发生成的 SDK 模块 (依据 aop_idl.py)
        └── main.py                 # 用户的本地业务逻辑代码

同步代码到私服

  1. 在 VSCode 【Source Control】下的【Changes】目录，选择如下图标所示【暂存更改】。
  1. 在 Message 提示框中【输入 Commit Message】，选择 【Commit & Push】，将代码修改提交到本地仓库，推送到个人私服。

说明：Git 提交必须包含 Commit Message，否则 VSCode 会一直处于提交中

阶段三：测试环境调试

有灵智能体平台发布私服

可视化开发

  1. 登陆有灵智能体平台，选择您的项目，进入项目详情。
  2. 点击右上角【可视化开发】按钮。

本地代码同步后，平台会根据 IDL 生成众包能力的 C 端交互页面，展示在可视化开发模块。

  1. 左侧菜单栏选择【页面】，选择对应能力。查看默认生成的众包页面效果。以图片分类为例。
  1. 左侧菜单栏选择【 智能体】页面。
  1. 点击左侧列表智能体名称，右侧可视化区域将自动展开。
  1. （可选）在右侧区域，找到 cognition 下能力名称，如【annotate】。点击【描述任务】右侧的按钮，可以编辑任务信息。

说明：

  • 任务名称：自定义修改。该字段为众包最终向工作方发布时展示的【任务名称】。
  • 任务类型：一般任务。限时任务用于要限定时间内得到结果的情况，比如车位检测等实时类任务。
  • 布局方式：选择移动。该字段表示将众包任务发布到移动端或 web 端。web 端可用于某些特殊题型（如打点，通过 web 端更精准）。

发布私服

  1. 选择页面右上角【发布私服】按钮，发布到后端服务器、前端页面。

说明：

  • 后端服务器：部署、运行服务端代码。默认需要勾选。
  • 前端页面：发布前端页面。通过有灵众包平台发布任务需要勾选此选项。
  1. 发布过程可能需要几分钟，请等待发布日志，显示发布成功。

本地客户端调用私服

  1. 本地打开 VSCode ，在 custom 下自动生成的客户端代码文件夹（以 My_Task_Name_Local 格式命名） 下，打开 main.py。

main.py 已经默认生成了示例代码框架。

  1. 根据业务场景，复制完整示例代码，编写客户端逻辑。也可参照说明自定义修改。

完整示例代码：【数据标注任务类型】-【图片分类 Demo/语音分类 Demo】IDL 示例代码

说明：

  • 修改 main 函数中的第一行 aop = await AOP.init(task_type = sdk.Aop_Zhongbao, config = sdk.get_server_config("replace with your server id"))，替换为有灵智能体平台个人私服 server_id。
  • 示例代码已经包含了能力输入的修改。请将图片 test1.jpg 或者存储在 custom 路径下。
  1. 运行客户端代码。通过调用 Agent 标注能力发起一次众包标注，获取标注结果。
python .\Aop_Zhongbao_Local\main.py
  1. 客户端进行等待中，等待任务执行结果。

有灵众包 C 端（测试环境）

模拟用户答题

参照【阶段一：前置准备】-【有灵众包平台】-【登陆有灵众包 C 端（测试环境）】

  1. 使用单独的浏览器登陆有灵众包 C 端（测试环境），查看已发布题目。
  1. 领取任务，开始做题。
  1. 目前私服环境，题目不会自动结束。做一次题即可手动结束。

本地获取做题结果

本地 VSCode 客户端调用，收到众包的结果返回，并打印置信度。

阶段四：正式发布线上众包任务

本地同步代码到主干

  1. 选择 VSCode 的源代码管理器插件【Source Control】。
  2. 选择底部分支图标，切换到【master】分支。
  1. 选择【Branch-Merge Branch】操作。
  1. 选择私服分支，将私服代码合并到主干。
  1. 选择【Sync Changes】操作，将本地代码仓库变更同步到平台侧。

有灵智能体平台发布主干

提交可视化页面到主干

在可视化开发中，选择右上角【提交至主干】操作，提交页面到主干。

发布到主干

  1. 通过项目详情-【发布到】操作，将项目发布到默认服务器。
  • 根据提交时间及信息选择发布版本
  1. 发布后，服务状态进入【审核中】。

有灵众包平台（线上环境）审核

完善任务配置

  1. 登陆有灵众包平台（线上环境），选择任务模板的【完善】操作。
  1. 设置任务基础信息。
  • 选择图片分类。
  1. 跳过试标设置。试标用于对做题 C 端用户进行前置考试。
  1. 设置派发方式，设置单价。
  • 派发方式选择公开。
  • 保密任务选择否。
  • 每题耗时建议设置为 5 s，将根据耗时 * 平台时薪范围计算任务单价
  • 任务时间无需设置。
  • 验收方式保持默认。
    • 准确率可调整，如 99%
    • 人数动态投放为题目的最大参与人数
  1. 提交任务后，任务会进入平台审核阶段。
  1. 联系平台运营人员@叶浅浅(周红叶)进行审核。

本地客户端调用主干

修改【阶段三：私服发题测试】-【本地客户端调用私服】步骤代码

  1. 修改客户端代码。
  • 修改 main 函数中的第一行 aop = await AOP.init(task_type = sdk.Aop_Zhongbao, config = sdk.get_server_config("replace with your server id"))，替换为有灵智能体平台默认服务器 server_id。
  1. 在 custom 路径下，运行客户端代码。通过调用 Agent 标注能力发起一次众包标注，获取标注结果。
python .\Aop_Zhongbao_Local\main.py

有灵众包平台（线上环境）发题、回收

发布任务

  1. 登陆有灵众包平台（线上环境），进入任务模板详情。选择任务批次的【发布任务】操作，进行任务发布。
  1. 发布任务需要余额充足，请先进行充值。
  1. 充值完成后，确认发布。
  1. 发布后，任务进入派发中状态，推送到 C 端用户。

充值

  1. 可选择左侧菜单【资金管理】，提前根据预算充值。
  1. 使用任意支付方式完成支付。

验收任务

  1. 进入任务模板详情，选择【验收】操作。
  1. 或者进入任务批次详情，操作单题验收、批量验收。

下载标注结果

  1. 进入任务批次详情页，选择导出数据。
  1. 在任务批次详情页，选择【导出全部数据】；或者进入任务批次详情，导出特定批次的数据。
数据标注任务简介目录