更新时间：2026-08-15 00:02:17
已登记
详细信息
-
知识产权名称
大模型数学能力测试数据
-
登记编号
DIP2024000023766
-
申请人
杭州君同未来科技有限责任公司
-
登记类型
首次登记
-
登记有效期
3年
-
申请时间
2024-12-23 18:00:59
详细信息
-
所属行业
信息传输、软件和信息技术服务业
-
交易状态
待交易
-
数据规模
518
-
更新频次
每年更新
-
应用场景
通过精心设计和多层次的数据处理流程，大模型数学能力测试数据集被打造为高质量、高标准化的评估工具。该数据集覆盖广泛的数学主题，包括代数、几何、微积分、数论以及概率与统计，为全面评估大语言模型的数学能力提供了丰富的测试素材，可以深入了解模型在数学问题求解中的语言表达能力、题意快速解析能力以及解答推导过程的表现。测试还能够评估模型在不同应用场景中的适用性，如数学教学辅导、科学研究支持、金融数据分析和工程计算辅助等。这一数据集不仅有助于衡量模型的数学处理能力，还能为实际应用场景提供科学依据和指导。
-
算法规则简要说明
(1) 数据来源：数据集的原始素材来源于Hugging Face开源平台，涵盖公开数学题库、学术会议论文中的数学问题、在线数学学习平台的题目集合，以及人工设计的创新型数学问题。所有数据均标注明确来源，确保其可靠性和科学性。 (2) 数据标准化处理：对收集的数学题目进行全面标准化，包括统一题目格式、规范化语言表达、标准化变量定义以及消除歧义性描述，确保题目清晰易懂，便于大模型解析与处理。 (3) 数据分类与分层：依据主题将题目进行分类并层级划分，涵盖从基础数学知识到高阶数学推理的多个维度，为大模型的多维度能力测试提供科学依据。 (4) 关键信息标注：在题目中添加详尽的辅助标注信息，包括题目类型、解题步骤、推导过程、正确答案以及逻辑分支选择。这些标注为大模型解题分析提供了严谨的验证依据和丰富的评估维度。 (5) 问题改编与生成：基于原始题目集合，通过改编技术生成多样化的题目。例如，变换题目语言表达、替换数据参数或扩展问题条件，提升数据集的多样性和覆盖范围。 (6) 测试指标设计：制定全面的数学能力评估指标，包括问题理解正确率、计算精确度、逻辑推导完整性、解题效率，以及对提示性问题和开放性问题的响应质量，全面衡量模型能力。 (7) 模型评估与验证：利用数据集对大模型进行综合性评估，分析其在理解数学问题、推导解答过程以及生成正确解答方面的表现，并通过对比不同大模型的测试结果，形成系统化的数学能力评价报告，为模型改进和应用提供指导依据。
-
更新频次
每年更新
-
存证平台
信证链数据资产存证公证平台
