这项由俄亥俄州立大学与Meta斟酌开展的盘考，于2026年5月发表在预印本平台arXiv上，论文编号为arXiv:2606.00825。盘考团队构建了一个名为SuperMemory-VQA的数据集与评测基准，挑升用来进修AI系统能否充任东说念主类日常生存中的"回顾文牍"。

你有莫得遭受过这样的情况：外出前明明牢记把钥匙放在桌上，回身就忘了；或者跟一又友聊天时提到了某个伏击商定，隔天却想不起对方说的具体内容；再或者，作念菜到一半，脑子里瞬息空缺——刚才到底放了若干盐？这些日常的"回顾空匮"固然听起来微不及说念，却会在生存中反复制造劳作。

目前，AI眼镜（比如Meta推出的Aria智能眼镜）正在尝试填补这些空匮。它们不错继续录下你的第一东说念主称视角，表面上记取你看到的一切。但问题来了：AI确切能像一个尽责的"随身文牍"那样，在你需要的时候准确回忆起夙昔发生的事情吗？

为了回复这个问题，盘考团队作念了一件很有真谛的事：他们挑升想象了一套考题，来测试AI的"回顾能力"——这就是SuperMemory-VQA数据集的由来。

一、为什么现存的AI"回顾测试"不够用

要判辨这项盘考的价值，得先弄明晰一件事：在此之前，盘考者们其实依然有不少用来评估AI视频判辨能力的数据集了。但这些数据集存在一个共同的问题——它们测的是AI能弗成"看懂目下发生了什么"，而不是AI能弗成"记取夙昔发生了什么"。

打个譬如，现存的测试就像是给一个东说念主播放一段三分钟的厨房视频，然后问："刚才这个东说念主用的是什么锅？"这种问题测的是短期感知能力。但确凿的回顾助手需要回复的问题更像是："你昨六合午作念饭时，把阿谁蓝色的硅胶锅铲放哪了？"——这才是回顾能力的中枢：逾越时刻的信息检索与推理。

具体来说，现存的数据集存在几个局限。大多数数据集关心的是动作识别（比如"他正在切菜"）或者通用问答（"视频里有几个东说念主"），而不是靠拢确凿回顾需求的问题。另外，现存数据集的视频片断很短，往往唯独几分钟，无法模拟东说念主们确凿生存中逾越数小时以致数天的回顾场景。此前唯独相比接近的使命是EgoLife数据集，它照实尝试了更万古刻的第一东说念主称视频，但问题想象仍然偏向模板化，问题的语言边幅生硬、不天然，也珍惜对多段字据整合推理的测试。

SuperMemory-VQA的出现，恰是为了补上这些短板。

二、这套"回顾考题"到底是如何想象的

盘考团队招募了十名参与者，让他们提示Meta Aria第一代智能眼镜，在一个模拟家庭环境的出租屋里进行日常举止的录制。这套眼镜尽头"颖异"：它同期纪录了高清彩色视频（1408×1408像素，每秒30帧）、双目曲直视频（用于空间定位）、眼球跟踪、七声说念音频，以及惯性测量单位（IMU）数据和三维场景点云。平淡地说，这副眼镜不单是在"看"，它还在"感受"提示者的畅通景况、"听"周围的声息、"跟踪"视野焦点，况兼及时构建出所处空间的三维舆图。

每位参与者录制了3到12小时的内容，横跨多个录制要道，其中三位参与者的录制时刻以致蔓延到两周。举止内容包括按照食谱作念饭、根据讲明书玩桌游、打扫整理房间、与其他参与者交谈等，既有独自进行的任务，也有多东说念主息争的场景。

在这52.9小时的多模态第一东说念主称视频基础上，盘考团队构建了4853个问答对。这些问题被归纳为六大回顾任务类型，障翳了东说念主类日常生存中最常见的回顾需求。

第一类是物体与位置回顾。这类问题关心的是某样东西临了被放在那里，或者它在不同时间点之间是如何被迁徙的。比如"我要换衣着了，我洗衣着时把蓝色牛仔裤挂在哪了？"正确谜底需要系统准确找到参与者之前把牛仔裤挂在衣柜门顶部挂钩上的阿谁时刻。

第二类是对话回顾。这类问题条件系统回忆对话中说过的具体内容，包括快活、延迟回复、半途雠校等细节。比如"我在想我的战略。B之前跟我说，什么时候不错建屋子？"系统需要找到对话中B明确说"轮到你的时候"的那一刻。

第三类是视觉场景回溯。这类问题条件系统记取也曾看到过的视觉细节，比如门招牌、包装上的笔墨、屏幕上的信息等。比如"我要在手机上订外卖，咱们刚才进来的那扇门上的公寓门招牌是若干？"

第四类是情境内检索。这类问题需要将刻下的情境信息与夙昔的回顾相畅通，进行多身手推理。比如"我在数我的零钱，我买肯塔基通衢花了220好意思元，我收到了若干找零？"系统需要先找到那次购买的纪录，阐发支付了500好意思元，再推算出找零300好意思元。

第五类是时刻线重建。这类问题条件系统按时间法子整理一系列事件，或者阐发某项多身手任务的操作法子。比如"我想把食谱身手记下来发给一又友，我之前是按什么法子把香葱、鸡肉和腌料放进锅里的？"正确谜底需要系统把三个不同时间点的操作拼接成正确的时刻序列。

第六类是意图回溯。这类问题关心的是参与者也曾说过或线路过要作念某件事，但最终莫得完成。比如"我以为我作念印度香饭时好像忘了一个身手，我其时筹谋要作念但推行没作念的是什么？"系统需要找到参与者在某一次话语中提到"炒制15分钟"的筹谋，再比对后续推行操作的视频，发现这个身手照实被跳过了。

三、这些问题有多难：让AI同期面对时刻和不祥情趣

SuperMemory-VQA的挑战性不仅体目前问题的类型上，还体目前它的举座想象理念上。

每个问题都被想象成四选一的采用题，但与普通采用题不同的是，这四个选项是有"档位"的：正确谜底是完整准确的刻画，"隐约"选项是标的对但不够精准的刻画（比如"你把牛仔裤放在了卧室里"），失实选项是与事实相反的刻画，而第四个选项恒久是"根据现存字据无法回复"。这个想象尽头要害，因为它同期测试了两种能力：AI能弗成找到正确谜底，以及AI知不知说念什么时候该"认输"而不是瞎猜。

在现实生存中，一个好的回顾助手不应该在不祥情的时候给出一个听起来很有信心但其实是错的谜底。这种"明明不知说念却硬要说"的举止，在AI规模有一个独到名词叫"幻觉"。SuperMemory-VQA通过挑升建立"不可回复"选项，让测试系统具备了检测AI是否会幻觉的能力。

此外，盘考团队还荒谬关心问题语言的天然性。现存数据集的问题时常是"模板化"的，比如"视频中的东说念主把X放在了那里？"SuperMemory-VQA的问题则更像确凿生存中的白话，带多情境前缀："我要换衣着了，我洗衣着时把蓝色牛仔裤挂在哪了？"这种想象让问题更靠拢AI眼镜推行使用场景，也让问题更难被AI通过语言技巧"猜"出谜底。

为了考证这少许，盘考团队挑升作念了一个"盲测"：让一个强盛的文本语言模子（Qwen3-8B）仅凭看问题和选项的笔墨，在都备不看任何视频的情况下回复问题。着力这个模子的举座正确率唯独23.8%，与偶然乱猜的25%基准险些交流。这讲明SuperMemory-VQA的问题无法通过语言规矩或知识推断来"蒙"出谜底，必须确凿判辨视频内容才能回复。

四、标注这些问题的数据工场：两阶段的AI+东说念主工活水线

构建这样一个数据集，本人就是一个深广的工程挑战。盘考团队无法靠东说念主工一帧帧看视频来标注问题——52.9小时的视频，要是东说念主工不雅看并标注，会奢靡天文数字级别的时刻和元气心灵。

于是他们想象了一套两阶段的半自动化标注活水线，让AI作念大批基础使命，再由东说念主工进行最终审核。

第一阶段是密集视频刻画生成。系统把每段视频切割成小块，用大语言模子（具体是Google的Gemini 3 Flash版块）对每个视频块生成详备刻画，纪录其中发生的动作、出现的物体、听到的对话、所处的环境。为了处分多东说念主场景，系统还注意了一个"东说念主物登记册"，用假名标耀眼频中出现的每个东说念主，并纪录他们的外貌特征。悉数这些刻画被按时间法子整合，酿成一份完整的"超等日记"。

第二阶段是基于超等日记的问答生成与考证。一个"问答筹画器"AI（用的是更强盛的Gemini 3.1 Pro版块）读取超等日记，提倡候选的问答对，况兼在生成谜底之前先写出推理经由，这种"先想再答"的边幅有助于升迁谜底质地。随后，一个"考证器"AI对每个问答对进行多维度打分，查验事实准确性、因果关系的合感性、问题的天然进程，以及谜底选项的平衡性。要是某个问答对评分不外关，一个"优化器"AI会根据考证器的建议对问题和谜底进行修改，然后再次提交考证。这个轮回会一直进行，直到问答对通过审核或者被认定为无法赈济而丢弃。通过自动审核的问答对，最终还要经过矜重录制经由的盘考东说念主员进行东说念主工审核，确保事实准确性和语言天然性。

这套活水线大要消耗了3900好意思元的API调用用度，用来生成最终的4853个经过东说念主工考证的高质地问答对。

五、现存最强AI系统的收成单：莫得一个合格

有了这套测试题，盘考团队飞速把目前起程点进的两套AI视频判辨系统拉来参考。一套叫Video-RAG，另一套叫EgoButler。

Video-RAG的使命边幅访佛于一个配备了快速检索系统的藏书楼员。它先把视频中的笔墨（通过语音识别）、图像中的笔墨（通过OCR）、以及检测到的物体信息辩认存进三个数据库，当用户问问题时，系统会从这三个数据库里搜索最干系的内容，kaiyun(中国)2026世界杯手机APP下载再把找到的信息连同视频帧一齐交给语言模子来生成谜底。

EgoButler的想象玄学则不同，它更像是一个有着分层回顾札记本的助手。它先对每30秒的视频生成一段详备刻画，然后把这些刻画汇总成小时级别的摘抄，再汇总成天级别的摘抄。当用户发问时，系统从最高等次的摘抄运行搜索，逐渐减弱界限到具体的视频片断，再索求干系刻画交给语言模子回复。

在这两套系统的基础上，盘考团队还测试了十个不同的语言模子行动"大脑"，包括开源的Qwen-3-VL（8B和30B两个尺寸）、InternVL-3.5（8B和30B）、Gemma-4（轻量版和31B版），以及闭源生意模子Gemini-3-Flash、Gemini-3.1-Pro、GPT-5.4-mini和GPT-5.4。

测试着力用三个探讨来掂量：一是判断某个问题到底能弗成根据现存视频回复（可答性F1分数，满分100%）；二是四选一采用题的准确率（QA-Acc，偶然推断的基准是25%）；三是平均倒数排行（QA-MRR，掂量正确谜底是否至少排在前边，满分100%）。

收成单看起来有些令东说念主报怨。表现最佳的组合是Video-RAG搭配Gemini-3-Flash，可答性F1达到了83.9%，意味着它大部分时候能正确判断一个问题是否不错被回复。但采用题准确率唯独61%——要知说念，偶然推断的基准是25%，是以61%听起来还行，但面对确凿的日常回顾需求，这个准确率远远不够。

换句话说，即即是刻下最强的AI系统，在你问它"我上昼把那把剪刀放哪了"这类问题时，它每三次简略只可答对不到两次。

更有真谛的发现是不同模子之间的"脾气各别"。Gemini-3-Flash像一个积极但有时过于自信的助手，遭受有字据支撑的问题会坚硬给出谜底，但遭受莫得字据支撑的问题也可能编造出听起来合理但推行失实的谜底。Gemini-3.1-Pro则更像一个严慎保守的助手，遭受不祥情的情况时常倾向于回复"根据现存信息无法回复"，因此在可答性判断上更可靠，但同期也因为过度保守而错过了好多其实有实足字据支撑的问题，在采用题准确率上反而输给了Flash版块。

盘考团队还单独分析了"可回复问题"的失败风景——也就是那些正本有实足字据不错回复、但AI却答错了的情况。着力发现，大多数失败不是因为AI给出了一个彰着失实的谜底，而是因为AI在有实足字据的情况下却采用了"无法回复"。多个开源模子在可回复问题上的"过度弃权率"杰出了70%，Gemini-3-Flash也有接近40%的可回复问题被它废弃了。这讲明现存AI系统还没学会一个很要害的手段：在字据存在时敢于作答。

六、从六种回顾任务看AI的短板在那里

盘考团队还按照六种任务类型辩认统计了各系统的表现，揭示出更细粒度的能力各别。

在EgoButler框架下，各系统在不同任务上的表现尽头不平衡，某些任务上的准确率以致唯独20%出面。Video-RAG框架则暴暴露相对平衡的任务障翳，荒谬是在需要跨时刻点整合字据的任务上表现更好。这个对比讲明，有结构的检索（Video-RAG的边幅）比分层摘抄式的回顾（EgoButler的边幅）更合适处分时刻跨度大、需要精详情位的回顾问题。

盘考团队还缜密分析了六种典型的失败风景，通过具体例子展示了问题的骨子场所。

"精准检索寥落字据"这个场景是相对容易的情况：当谜底藏在一个片晌的视频片断或一句对话里，只消检索系统找到了阿谁时刻，推理本人并不复杂。Video-RAG在这类问题上表现尚可，而EgoButler因为分层摘抄容易恍惚掉不权贵的细节，时常在这类问题上失败。

"对话细节羞耻"是一种常见的失败风景：AI找到了干系的对话内容，但把两个周边的表述等量都不雅，给出了一个"标的对但内容错"的谜底。比如，用户问B说他用压力锅作念什么食材，AI可能找到了那段对话，但把"牛肉"错记成"肉类"，给出了一个恍惚但不准确的谜底。这种失实荒谬危境，因为它听起来有道理，用户很难察觉。

"小物体和OCR类失败"是视觉回顾的通病：当谜底依赖于视频中一个很小的物体或很小的笔墨时，系统时常检测不到或纪录不下来。比如门招牌、包装上的品牌名、游戏卡片上的笔墨。在门招牌这个例子中，Video-RAG给出了失实的数字207（正确是205），而EgoButler则径直采用了"无法回复"。

"时刻法子和景况变化跟踪"是最复杂的挑战之一：相通的动作、相通的物体、相通的场景在整段摄像中反复出现，AI需要督察一个跟踪物体景况变化的"事件链"，而不单是是匹配视觉上相通的片断。比如跟踪某个平底锅被使用后是否被清洗并收起来，需要系统记取"使用→清洗→收纳"这个景况变化序列，而不单是找到"有平底锅的帧"。

"假定前提的考证"是测试AI"知说念我方不知说念"能力的要害场景：当问题中包含了一个推行上不树立的假定时（比如问"我用蓝色量杯之后放哪了"，但推行上根柢莫得效过蓝色量杯），AI应该采用"无法回复"，而不是顺着假定编造一个谜底。这类问题上，Gemini-3.1-Pro比Gemini-3-Flash表现更好，因为它更严慎。但Gemini-3-Flash则时常会给出一个听起来合理、推行上是都备造谣的谜底。

"量词精准性"是日常回顾中常见但容易被冷漠的挑战：用户问的不单是"有莫得放盐"，而是"放了几勺盐"。AI系统在转头视频时时常把叠加的动作压缩为"放了一些"这样的表述，丢失了具体的数目信息。

七、参与者我方如何看这套测试题

除了技能层面的测试，盘考团队还作念了一项微型用户调研，让八位参与者对从我方摄像中生成的问题进行评价。

着力暴露参与者对这套问题的招供度相称高。86%的参与者认为这些问题准确反应了他们在日常生存中确凿会遭受的回顾逆境。82%的东说念主认为，要是AI能回复这些问题，对他们的日常生存会很有匡助。78%的东说念主认为，回复这些问题所需要的知识不单是一次性的，它也能匡助回复其他访佛的问题——也就是说，这些回顾是可复用的"个东说念主知识钞票"，而不单是一次性的事实查询。

值得一提的是，悉数参与者对"依赖AI记取这些信息是否合适"的派头相对严慎——唯独约50%的东说念主以为都备没问题，另外一半关于把回顾外包给AI还持有保钟情见。这折射出一个更深层的社会问题：当AI越来越能替代某些东说念主类功能时，东说念主们关于自主性和阴事的担忧也在多如牛毛。

说到底，这项盘考作念的事情骨子上是"给AI的回顾能力拍了一张通晓的X光片"。它揭示出，现存最强的AI系统在演出"随身回顾文牍"这个脚色上，还有尽头彰着的短板。找东西这件事，AI大要能作念到六成准确，而且还会在没把抓的时候说太多"不知说念"，在有把抓的时候又偶尔说错。

这对普通东说念主意味着什么？要是你正在期待AI眼镜能帮你记取悉数事情，这项盘考告诉你：标的是对的，但技能还没到那一步。你可能还弗成都备信任AI告诉你"你的钥匙放在厨房抽屉里"——它可能在用阿谁有点恍惚的概率在猜。

天然，盘考同期也指出了鼎新的标的。异日的AI回顾系统需要更精准的小成见检测和笔墨识别，需要注意物体景况变化的显式跟踪机制，需要更好的时刻法子推理能力，以及最要害的——需要学会在该作答时勇猛作答、在莫得实足字据时干净利落地承认不知说念。

一个趣味的问题值得进一步念念考：要是AI能够完整记取你生存中的一切，你确切惬心它这样作念吗？SuperMemory-VQA的参与者中，有相称一部分东说念主对此持严慎派头。技能能作念到的事，和东说念主们惬心接收的事，时常并不老是同步前进的。对这项盘考感意思的读者，不错通过arXiv编号2606.00825查阅完整论文，数据集也已在Hugging Face平台上公开垦布。

Q&A

Q1：SuperMemory-VQA数据集测试的是AI的什么能力？

A：SuperMemory-VQA测试的是AI系统在万古刻第一东说念主称视频中的回顾能力，具体包括物体位置回顾、对话内容回溯、视觉细节再现、跨事件推理、时刻线重建和意图回溯六大类任务。与普通视频判辨测试不同，它强调的是逾越数小时以致数天的万古回顾，而非短片断内的感知识别。

Q2：刻下最佳的AI在SuperMemory-VQA上表现如何？

A：目前最强的组合是Video-RAG框架搭配Gemini-3-Flash模子，采用题准确率为61%，固然远高于偶然推断的25%基准，但离实用级别仍有较大差距。大多数AI系统濒临的主要问题不是给错谜底，而是在有实足字据的情况下过度保守地采用"无法回复"，部分开源模子在可回复问题上的弃权率杰出70%。

Q3：SuperMemory-VQA数据集是如何制作出来的？

A：盘考团队让参与者提示Meta Aria智能眼镜录制了52.9小时的日常举止视频，然后用两阶段AI活水线自动生成候选问答对：先用AI生成密集视频刻画，再用AI筹画和考证问答对开云kaiyun中国手机APP下载，临了经过东说念主工审核筛选，最终获得4853个高质地问答对，总标注资本约3900好意思元。