多模态心理健康理解

多模态心理健康理解指用语音、面部/视频、文本等信号估计人的情绪、认知和心理状态，并把这些估计转成可解释描述。它的目标不是让模型替代临床判断，而是在研究和辅助评估中，把原本黑箱式分类结果改写成可审查的状态画像。

观察

ECMC 把心理健康 AI 从“抑郁/焦虑分类”推进到“情绪-认知描述生成”：模型不只输出标签，而是生成关于情绪类别、注意、记忆、语言障碍等线索的自然语言画像。
这一路线把情绪计算与心理世界模型接到一起：情绪不再只是情感分类，认知状态也不再只是背景变量，而是作为可被多模态观测支持的 mental state representation。
来源中的架构采用模态专属编码器提取视频、音频和文本特征，再用双流 BridgeNet 分别聚合情感嵌入和认知嵌入，最后由 LLaMA 解码为描述文本。这说明可解释性被放在表示层和输出层共同处理。
与 NeuroAI 相比，这个节点更偏心理健康和人机交互评估，不是直接解释神经机制；与临床量表相比，它更依赖传感数据和模型生成描述。
“画像”这个词需要谨慎使用：它可以帮助研究者检查模型依据，也可能把不稳定、带噪声的心理状态估计误读成事实。
MME-Emotion 提供了相邻的评测基准信号：多模态模型是否能识别情绪，还要看它能否解释视觉、语音和语言线索，而不是只给出心理状态标签。