应用于室内空间具身智能机器人训练的真实感三维场景数据
DIP2025000005338
杭州群核信息技术有限公司
首次登记
3年
2025-05-15 09:49:50
信息传输、软件和信息技术服务业
待交易
552
按需更新
具身智能机器人需要在多种场景下实现与环境的交互操作,面临着数据采集困难,实现成本高等技术瓶颈,本数据集可输出多样性室内空间3D场景数据,在视觉层面加强渲染效果,做到材质表现贴近真实,物理层面构建铰链化资产,模拟真实资产的交互动作,围绕OPEN USD数据框架,在仿真平台下可实现机器人高保真的训练,让具身智能更好的理解场景,加速机器人落地应用。
本算法旨在处理三维模型,通过一系列步骤实现模型的分割、实例重组及格式转换,以生成新的实例模型,用于场景渲染和机器人训练等应用。 1.模型分割:本步骤接收任意初始三维模型作为输入,三维模型包括位置、尺寸、材质、顶点信息、法相信息、面片信息字段,运用拓扑连通性聚类算法将该组合模型拆分为多个面片组(face group),获取模型类型字段。此步骤有效提取模型的结构特征,有助于后续的实例重组。 2.模型实例重组:在此步骤中,对三维模型的位置、尺寸、材质、顶点信息、法相信息、面片信息字段进行分割,再利用Qwen-VL-Max和GroundingDino算法对分割后的部件进行组合,形成独立的模型实例,并获取其中的标签字段。标签字段能够使每个模型实例能够基于原模型的结构和信息进行识别和应用。 3.模型格式转换:本步骤将拆分获得的实例模型及其对应的材质信息转换为OpenUSD格式,并获取其中的碰撞体设置信息字段和动画约束信息字段,以使模型能够在场景中动起来。 数据字段中的物理属性、UV贴图路径、纹理细节、音效绑定、光源属性等字段为模型自身属性,并非所有模型都有相应字段。
按需更新
浙江省知识产权区块链公共存证平台