产品动态
v0.7.0 升级公告

0.7.0 升级公告

升级内容

v0.7.0 版本 ：对应 fuxi-sdk v0.8.0。

本次升级更新内容包括：

  1. AI 能力维护可视化

    • 自定义创建项目能力，新建能力版本（继承自公共能力的项目能力暂不支持）
    • 能力版本训练配置支持挂载代码库、挂载数据卷
    • 能力版本训练、评估配置支持命令行参数、环境变量
    • 能力版本支持拷贝新建

  2. AI 能力系统

    • 私有 AI 能力区分主干与私服，每个项目主干与私服可独立进行推理、训练、评估且互不影响

  3. 有灵 ml

    • AI 能力的预训练全生命周期管理，包括能力的私有化；ai 能力预训练；数据集管理、手动标注；能力部署为模型服务

  4. 有灵平台 Debug Tools

    • Debug Tools 功能升级：支持将 ObjectServ、AI 能力推理和训练的日志拉取到本地，并且支持筛选日志级别和类别
    • Debug Tools 优化：
      • “启动/关闭调试服务”按钮改为“进入/退出调试模式”，减少用户理解成本
      • “进入调试模式”或者“同步代码并重启调试服务”两个按钮，都会自动帮用户同步一次代码并重启调试服务

操作指引

安装 AOP SDK

pip install fuxi-sdk[all]==0.8.0 --extra-index-url http://ace-external:IWxhkFffc40YJPvE@apps-hp.danlu.netease.com:41842/repository/ace-external-hosted/simple --trusted-host apps-hp.danlu.netease.com

AI 能力区分主干/私服

操作步骤

  1. 当前老用户历史通过 tools 工具维护的 AI 能力均会保留，且可以通过平台可视化界面进行查看和状态跟踪
  2. 历史 AI 能力会默认为项目能力主干版本
  3. 如何把历史 AI 能力创建一个私服版本？
    • 历史能力版本如只有训练配置，没有配置过推理和评估，需要新建能力版本，编辑历史能力版本当前版本会报错
    • 历史能力版本已配置了训练、评估、推理，编辑旧版本或新建一个版本均可
    • 更新后会创建其对应的私服能力，原有能力会变为主干能力、能力版本
    • 检查主干的最新能力版本配置是否与原有 TOOLS 中一致。部分数据可能需要手动配置

AI 能力维护可视化

详细操作步骤见：有灵平台文档 (opens in a new tab)

前置准备

  1. 如需使用全量数据进行训练，需修改训练代码，读取数据集从原有的读取单个文件变成从多个子目录下读取（为了提升拉取数据效率，全量数据按增量拆分成不同数据集版本，每个版本一个子目录）。

以下示例了 2 个子目录下的数据集文件

代码修改样例：

    sub_dirs = os.listdir(dataset_dir) # 获取子目录列表，dataset_dir 为环境变量 AISYSTEM_DATASET_PATH 的值，默认为 /app/assert/dataset/
 
    sub_pd_data_list = []
    for sub_dir in sub_dirs:
        sub_dataset_dir = os.path.join(dataset_dir, sub_dir)
        csv_file = os.listdir(sub_dataset_dir)[0]	# 遍历每个子目录，获取其下的第一个CSV文件
        csv_file = os.path.join(sub_dataset_dir, csv_file)
        sub_pd_data = pd.read_csv(csv_file)	 # 使用 Pandas 库加载CSV文件中的数据
        sub_pd_data_filter = sub_pd_data[sub_pd_data['createTime'] >= '2023-11-15 13:45:00']  # 根据业务逻辑过滤数据
        sub_pd_data_list.append(sub_pd_data_filter)

操作步骤

  1. 登陆有灵平台，进入项目详情。选择【AI 智能体-能力-项目能力】，创建能力
  1. 创建完成后，一个能力会对应创建私服、主干
  2. 选择私服能力，选择【新建版本】操作

已知问题

  1. #153542 使用 vscode 调试插件 进行 debug 工具 日志展示时暂不显示评估日志，后期支持
  2. #153690 在发布的推理服务状态为异常状态或者等待调度中时，重新进行发布不会更新推理服务，建议有需要对异常中的推理服务能力重新维护后想重新发布需要先从页面入口删除对应的服务
  3. #153840 因当前设计问题，在训练中若配置了自定义配置文件，私服和主干/不同能力之间 会存在自定义配置文件相互影响覆盖
v0.8.0 升级公告