科研成果展示

大模型一体化平台

⼤模型⼀体化平台是由我们⾃主研发的科研与应⽤项⽬。该平台致⼒于实现⼤模型领域的产学研⽤⼀体化，主要服务于科研技术⼈员的研发需求和传统⾏业⼈员的实际应⽤。平台整合了实验室的学术成果及开源社区的前沿技术，加速科研⼈员的研发进程，并为其他传统⾏业提供智能化转型解决⽅案。

模型推理功能：对基座模型和微调后的模型部署推理服务，⽀持vLLM技术加速推理，提⾼响应速度与并发吞吐量。
数据标注功能：具备纯本⽂单模态、⽂本图⽚多模态的数据集标注功能，⽀持通过⼤模型服务进⾏预标注，⽤于提供训练数据。
模型微调功能：提供了多种对基座⼤模型进⾏微调的⽅式（包含lora、p_tuning、freeze、full），针对全量微调⽀持了GaLore等降低显存占⽤的优化算法。
⼯具调⽤功能：封装了LangChain⼯具链调⽤，提供拖拽连线配置的可视化交互界⾯便捷构建任务流。
场景接⼊功能：提供了若⼲场景接⼊模板，平台内部署的服务只需简单配置即可通过模板创建应⽤。
知识仓库功能：提供了解析知识⽂件构建检索服务的功能，可作为RAG中的检索部分接⼊任务流服务。
模型评估功能：⾃定义测试问题，对基座模型服务、微调推理服务、任务流服务评估效果，⽀持相互⽐较。
资源管理功能：基于Slurm封装了资源调度与监控功能，对集群提供分布式训练及推理的算⼒⽀持。
密钥授权功能：平台内部署的服务是受限访问的，提供密钥授权⽅式脱离平台调⽤，供其他系统集成。

进⼊平台后，可以在⾸⻚看到⼤模型⼀体化平台的功能概览。

模型研发是根据⽤途划分项⽬的，⽐如司法问答、政务问答、运维问答、岩⼟问答...⽤户可以针对不同的需求创建不同的项⽬，实现其条理化的管理。

模型研发包含6个主要模块：

项目列表：模型研发菜单⻚⾯展示了⽤户创建的项⽬列表，提供新建项⽬、编辑项⽬、删除项⽬、项⽬搜索等功能。
项目总览：平台的模型研发⻚⾯提供项⽬管理功能及数据集标注、⼤模型微调、任务流设计和可视化应⽤等功能，提供了模型研发的⼀体化流程。总览模块主要起到项⽬内导航的作⽤，左侧的栏⽬是按照常规使⽤顺序进⾏排布的，建议按照流程顺序进⾏使⽤，右下⽅栏⽬是该项⽬下创建的模型研发任务，可以点击直达。
数据集标注：该模块包含项目文件管理、标注数据管理、标注数据任务三个功能。
大模型微调：包含创建微调任务、已有微调任务、微调模型仓库、微调模型服务四个功能。
任务流设计：任务流旨在构建⼀个⽤户友好的⽆代码平台，提供⼀种交互界⾯来构建任务流，⽤户通过拖拽连线的⽅式即可搭建⾃⼰的实验、原型流，⾮常清晰易懂。包含创建任务流程、已有任务流程两个功能。
可视化应用：包含创建应用场景、已有应用场景两个功能。

开源的基座模型参数量不够⼤，本身拥有的能⼒有限。要完成复杂的知识密集型的任务，可以基于语⾔模型构建⼀个系统，通过访问外部知识源来做到。这样可以使⽣成的答案更可靠，有助于缓解“幻觉”问题。

用户管理：管理员⽤户可以在这⾥查看到平台⾥的所有账号，并可以修改任⽤户类型、⽤户级别、slurm账户等信息。
任务管理：管理员⽤户可以在这⾥查看到平台⾥的所有⼤模型微调任务、⼤模型服务任务、任务流服务任务，并可以对这些任务进⾏管理，查看任务详情或者强制停掉任务。
方案管理：⽤户发布的⽅案，需要管理员⽤户进⾏审核，审核通过之后，才会正式出现在任务流程模板的选择⻚⾥。同时，管理员⽤户可以在这⾥维护任务流程模板的分类⽬录，分组可以⾃定义调整。