开云体育(kaiyun)官方网站 Meta开源全新AI模子TRIBE v2，精确瞻望东说念主类大脑多模态响应

3 月 28 日音问，科技媒体 The Decoder 昨日（3 月 27 日）发布博文，报说念称 Meta 基础东说念主工智能相关团队（FAIR）开源全新 AI 模子 TRIBE v2，可精确瞻望东说念主类大脑对图像、声息和文本的响应。

该模子最大的亮点，在于无需施行测量，即可精确瞻望东说念主类大脑对视觉、听觉和说话刺激的响应，有望大肆传统神经科学相关周期长、老本高的瓶颈。

TRIBE v2 的中枢逻辑在于“多模态交融”。模子领受视频、音频和文本后，分别通过 Video-JEPA-2、Wav2Vec-Bert-2.0 和 Llama 3.2 这三个预检会大模子索求特征。随后，Transformer 架构将这些信息整合，最终输出一张包含 7 万个“体素”（3D 像素）的高精度大脑动作图。

TRIBE v2 可施行到新科目，无需重新培训。绿色条默示模子的瞻望准确性; 灰点披露了单个脑部扫描与群体平均值的有关性。节略的微调（底部）进一步擢升了精度。| 图源：Meta

在性能阐扬上，TRIBE v2 的瞻望成果比单东说念主真确的脑扫描图更明晰。真确的功能性磁共振成像（fMRI）常受心跳、头部微动等杂音搅扰，TRIBE v2 通过奏凯瞻望“更始后的平均响应”来摈斥杂音。实验标明，kaiyun其瞻望准确度远超传统线性模子，并见效在计较机上复现了多数经典神经科学实验。

TRIBE v2 瞻望大脑在皮层和皮层下区域的动作。瞻望质地因刺激类型而异，光显优于线性基线。跟着检会数据的加多，准确性稳步擢升（右下角）。| 图源：Meta

该模子还揭示了不同感官如何激活特定的大脑区域。单独输入音频会激活听觉皮层，而同期输入多模态数据时，大脑颞叶、顶叶和枕叶接壤处的瞻望准确率可飙升 50%。

在视觉实验中，TRIBE v2 识别了已知的面部、地方、身体和扮装的成心大脑区域。顶部：展示图片。中间：模子瞻望。底部：施行测量的大脑动作。| 图源：Meta

尽管阐扬惊艳，TRIBE v2 仍存在局限性。它依赖存在数秒延长的血流数据，无法捕捉毫秒级的神经动态，也穷乏触觉和感觉维度。

在说话实验中，TRIBE v2 复制了经典的神经说话学发现，如言语与千里默、样貌与身体难受，或句子与词汇列表的鉴别。瞻望的激活样式与测量数据相符。| 图源：Meta

Meta 当今已全面开源该模子的代码与权重，改日将重心探索其在策划脑科学实验、构建类脑 AI 架构及会诊脑部疾病等限度的愚弄后劲。

【着手：IT之家】开云体育(kaiyun)官方网站