群核科技SpatialLM技术解析:基于LLM的3D结构化建模新范式

2025-06-23 18:40:54     来源:

近日,空间理解模型SpatialLM发布首份技术报告,该模型来自于空间智能公司群核科技。 据悉,该模型于今年3月正式开源,并在开源后迅速与DeepSeek-V3、Qwen2.5-Omni一起登上全球最大的开源社区HuggingFace全球趋势榜前三。

图说:来自杭州的三个大模型共同登榜HuggingFace全球趋势榜前三

作为一款将大语言模型扩展到3D空间理解任务中的模型,SpatialLM能从3D点云输入生成结构化的空间场景描述,这一过程突破了大语言模型对物理世界几何与空间关系的理解局限,让机器具备空间认知与推理能力,为具身智能等相关领域提供空间理解基础训练框架。

在开源后经过广泛的实际验证,本次技术报告聚焦SpatialLM 1.1升级版本,其不仅包含了详细的消融实验与训练配方,还在点云编码方式、分辨率、用户指定识别类目等维度上实现优化。多项基准测试数据显示:该模型在任务数据集微调后,在空间布局识别、3D物体检测任务中,均达到了相比与最新专业模型持平或更优的效果。

 

图说:SpatialLM1.1 在户型、物体检测任务中与SOTA方法的跑分对比

本次报告重点围绕算法框架和训练数据两方面展开。在算法架构层面,SpatialLM将大语言模型(LLMs)扩展到3D空间理解任务中,特别在结构化室内建模领域实现了重要突破。这一技术路线打破了传统任务专属架构(task-specific architecture)的限制,创新性地采用可编辑的文本形式表达场景结构。这一创新设计具有双重技术优势:一方面发挥了群核科技强大数据集能力,通过持续训练不断优化空间识别精度;另一方面通过接入大语言模型,系统可直接接收并理解自然语言指令,使空间理解模型从简单任务执行工具转变为能够真正理解用户意图的智能系统,从而推进了LLMs在空间理解和推理方向的能力边界。

图说:SpatialLM1.1 模型的网络结构

同时,SpatialLM构建了一个全新的包含3D结构化信息的合成点云数据集,打破了真实数据稀缺且难以标注的局限。该数据集包含超1.2万场景、5.4万个房间的结构化室内点云数据,其规模远超ScanNet(仅包含1,513个场景)等现有数据集。所有数据均源自真实项目的专业设计模型,经严格筛选与解析后形成符合真实世界统计分布的虚拟环境,相较程序化生成的ProcTHOR等数据集具有更高真实性。据了解,三维可交互数据是群核科技在空间智能领域的重要优势,该模型训练数据大多来自于群核空间智能平台SpatialVerse。早在2018年,群核科技就面向全球发布了名为InteriorNet的深度学习数据集,其包含了共计约1亿3千万空间数据,这是当时全球最大的室内场景认知深度学习数据集。

图说:SpatialLM1.1 数据集与目前开源数据的对比

据悉,自SpatialLM 空间理解模型开源以来,在全球开发者社区持续引发讨论,开发者普遍认为,该模型标志着大语言模型从"理解文字"到"认知空间"的跨越,推动3D空间理解落地应用,为AI探索物理世界开辟了新路径。其中,来自香港科技大学计算机科学与工程系谭平教授作为研究合作方指出:"SpatialLM创新性地将大语言模型应用于3D空间理解,在布局估计和物体检测等任务上取得了显著成果。这项突破对AR/VR和具身智能等领域的发展具有重要价值。"

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。

标签:

猜你喜欢

HDC 2025|数智跃升,解锁数据时代“最优解”
QQ音乐首创鸿蒙端侧实时声伴分离技术 一键畅享个人KTV
十一载砺剑:解码龙环汇丰快速发展的核心密码
金骨龄《儿童生长发育数字化管理平台》 荣获“雄安医疗大健康技术应用大赛”优秀奖
QQ音乐亮相华为开发者大会,QQ音乐鸿蒙2.0版本发布
数字性格行业迎来标准化时代--数圈科技
京东618实现厨房场景营销破圈 家电家居品牌实现品效销三赢
HDC2025鸿蒙生态增长峰会:解锁商业增长新引擎,共绘鸿蒙商业全景图
HDC 2025鲸鸿动能品牌增长沙龙:拿回营销主动权,驱动确定性增长
华为升级运动健康全栈战略,跨界共建数字健康新生态
哔哩哔哩亮相HDC2025,携手鸿蒙力求打造更多元、更智能的视频体验
京东家电家居618打造现象级营销事件 叶童助力掀起厨房好物消费热潮
回森亮相华为开发者大会2025,携手鸿蒙生态共筑娱乐应用新标杆
中国国航携手华为深化鸿蒙生态合作,共创智慧航空出行新体验
破解新能源海量接入困局 引领新型电力系统数智化变革——华为助力新能源高质量发展的创新实践
图灵看护:让适老化改造既有制度保障的温度,更有智能硬件的精度
奥林匹克全球合作伙伴TCL荣登奥林匹克博物馆捐赠墙
百度多模态数字人抢先登场,微美全息(WIMI.US)AI算法驱动开启虚拟人纪元
携手华为共建鸿蒙生态,软通动力携鸿蒙生态全栈解决方案亮相HDC 2025
「抖音商城618好物节」收官!看中小商家如何解锁爆发新可能
创新增溶辅料 守护中药安全 ——记江西中医药大学张海燕教授创新成果
聚焦MWC上海丨筑牢智算底座,九章云极 DataCanvas按下AI普惠“快进键”
华为开发者大会2025正式举行,同程旅行携手鸿蒙打造智慧旅行体验
从本土销冠到全球霸榜:科沃斯以技术创新实现双市场突破
Technics推出EAH-AZ100真无线耳机香槟金版 纪念品牌60周年
宝尊618战报出炉,GMV再创新高
围绕机遇拓展、运营简化、成本降低三大核心需求 亚马逊推出20余项创新举措 简化卖家全球拓展
路博润推出Lubrizol® MF9145V创新添加剂 破解柴油车DPF养护难题
不在国内卷,4年横扫全球30国,这家自动驾驶出海黑马暗藏什么杀手锏?
小花科技:科技赋能金融新生态 数据驱动产业新价值