内容摘要
让机器人参与多人社交，说的话和身体动作要在语义上对齐；现有做法多把预生成语音直接映射成连续动作轨迹，既缺乏对复杂社交环境的感知，也没有显式的高层语义动作规划。SocialCoAct 把第一视角（egocentric，机器人自身摄像头视角）社交协同行为定义成端到端的智能体任务：其 SocialCoAct-Agent 每轮把第一视角观测与对话历史交给视觉语言模型（VLM，能看图也能读文本的模型），输出语言回应以及与话语片段对齐的原子动作序列；模型输出的关节量不直接执行，先过白名单校验再映射为关节轨迹。
配套基准 SocialCoAct-Bench 取自 EasyCom、EgoCom 两个公开第一视角数据集，含 423 道人工校验的四选一题，分为长片段理解（LEU）、说话者意图理解（SIU）、协同动作规划（CAP），难度为易 189、中 148、难 86。
评测上，Claude-Sonnet-5 与 Qwen3.8-Max 总分并列最高 77.54%，难子集最高仅 46.51%。开启扩展思考（先长推理再作答）后，Qwen3-VL-2B 从 39.48% 升至 59.10%、Qwen3-VL-4B 从 56.03% 升至 73.05%，代价是吞吐由 1.60 与 1.51 降到 0.030 与 0.075 样本/秒，慢约 53.6 倍与 20.2 倍。加视觉帧在 CAP 上并不可靠：EgoMind-7B 涨 8.79 个百分点，InternVL2.5-2B 反而降 4.18 个百分点。
部署侧用两块 RTX 5090 跑 Whisper-Tiny、Qwen3-VL-8B、Qwen3-TTS 与 Unitree G1，十次试验均产出语言回应和可执行手势，仿真端到端时延中位数 12.63 秒，真机处理时延 7.57 秒。
点评
对机器人本体软件开发者而言，这套做法把“话语—动作”的对应关系落到一组可枚举、可校验的原子动作上：模型只负责挑动作并指明它对应哪句话，关节轨迹由白名单映射生成，下半身固定在站立姿态，因此手势可以作为中间层接口来调试、替换和审计，而不必直接消费模型输出的关节量。基准侧的两点结论也可直接用于工程决策：扩展推理能提分但吞吐下降数十倍，加视觉帧在不同模型上未必更好——这两点决定了在线社交代理的延迟预算与模型选型。
全部数字出自作者自建基准与自测，本次材料未见第三方复现；代码与基准只是“发表后公开”的作者声明，尚无可获取产物。基准仅 423 题、只来自 EasyCom 与 EgoCom 两个数据集，协同动作规划的选项由 23 类原子动作经三人多数票标注给出；真机侧只跑十次，7.57 秒时延不含相机传输、机器人通信与物理执行。本文依据 arXiv v1 全文 HTML 快照撰写（抓取时间见来源元数据），未做跨版本或跨目录核对。
版本与核查范围
版本 2610.24559v1 · 原文定位与程序检查、独立上下文模型复核；不代表独立研究复现。。依据已核查材料整理；未运行模型或机器人。
原文与定位
- 原文链接 #abstract1.1；#S1.I1.i1.p1.1；#S3.SS1.p3.3；#S3.SS1.p4.2；#S3.SS2.SSS1.p1.1；#S4.SS2.p1.1；#S3.SS2.SSS2.p2.1；#S5.SS1.p1.1；#S5.T3.1.1；#S5.SS2.p3.1；#S5.SS3.p1.1；#abstract1.1