垂直领域 Coding 场景意图识别模型开放权重与 API 使用
最近在基于 PI Agent 构造属于自己的 hermes，其中有一环就是需要根据意图进行针对性的调优，例如不同的场景使用不同的思考深度，还有如果是 Plan 转 Edit 或者 Review 转 Plan 可以进行 Compact，这里也可以针对性的压缩过程保留不同的细节（有的保留复现过程，有的可以只保留结论）。
于是针对性的买了一点数据集和搜集了一些高质量的样本集，训练出了一个 0.6b 的可供 CPU 推理的向量模型，目前使用了半个月（在公司内部网关实现了 Auto 智能路由），准确度可达 70-75% 左右，大幅节省了成本。同时，模型的权重已在 HF 上开放，并在我个人的一台物理机上部署了公益 API，欢迎大家测试和部署，希望大家能提出意见。
关于模型的细节，可以从 HF 的模型卡进行查看，我这里稍微注意几点：
1. 模型的底座是 jinaai/jina-embeddings-v5-text-small-classification，训练完成后沿用上游模型采用 CC BY-NC 4.0 许可。
2. 目前支持 12 项信号，分为 ops 和 coding 两个领域，模型大小和权重为 2.3 GB fp32，同时有 woq8 量化版本提供，分类准确度可以达到 fp32 的 99%，代价是推理性能下降一倍，api 部署的是全参数版本。
模型地址：[https://huggingface.co/snival/intent-router-zh-setfit-v2](https://huggingface.co/snival/intent-router-zh-setfit-v2)
模型 API 开放源码：[https://github.com/sxueck/intent-router-api](https://github.com/sxueck/intent-router-api)
模型体验 API：[https://intent-api.sxueck.com/demo](https://intent-api.sxueck.com/demo) (无审计无日志，源码开放)
---
原文链接：[点击查看](https://www.v2ex.com/t/1238107)
于是针对性的买了一点数据集和搜集了一些高质量的样本集，训练出了一个 0.6b 的可供 CPU 推理的向量模型，目前使用了半个月（在公司内部网关实现了 Auto 智能路由），准确度可达 70-75% 左右，大幅节省了成本。同时，模型的权重已在 HF 上开放，并在我个人的一台物理机上部署了公益 API，欢迎大家测试和部署，希望大家能提出意见。
关于模型的细节，可以从 HF 的模型卡进行查看，我这里稍微注意几点：
1. 模型的底座是 jinaai/jina-embeddings-v5-text-small-classification，训练完成后沿用上游模型采用 CC BY-NC 4.0 许可。
2. 目前支持 12 项信号，分为 ops 和 coding 两个领域，模型大小和权重为 2.3 GB fp32，同时有 woq8 量化版本提供，分类准确度可以达到 fp32 的 99%，代价是推理性能下降一倍，api 部署的是全参数版本。
模型地址：[https://huggingface.co/snival/intent-router-zh-setfit-v2](https://huggingface.co/snival/intent-router-zh-setfit-v2)
模型 API 开放源码：[https://github.com/sxueck/intent-router-api](https://github.com/sxueck/intent-router-api)
模型体验 API：[https://intent-api.sxueck.com/demo](https://intent-api.sxueck.com/demo) (无审计无日志，源码开放)
---
原文链接：[点击查看](https://www.v2ex.com/t/1238107)
评论
暂无评论。