中国团队推出脑电图图像生成模型 DreamDiffusion,清华、腾讯参与研究

35小吃技术网 推荐阅读 2023年09月25日22时11分04秒 170 0

据 IT之家 7 月 5 日消息,来自清华大学深圳国际研究生院、腾讯人工智能实验室(AI Lab)和鹏程实验室的研究人员近日发表论文称,研究团队开发了一种图像生成模型,名为该模型可以生成直接来自脑电图 (EEG) 信号网的高质量图像。 相关论文发表在康奈尔大学旗下在线学术论文平台arXiv上。网

▲来源研究团队的论文(下同)

几个小组研究了使用文本到图像扩散模型从人脑生成图像的方法,但大多数小组都使用功能磁共振成像 (fMRI) 来捕获大脑活动以生成图像。 该技术缺乏实用性,因为它需要专家操作和功能磁共振成像设备,价格昂贵且难以携带。

相比之下,脑电图是一种无创、低成本的记录大脑电活动的方法,并且已经有一些便携式商业产品可以轻松获取脑电图信号。 因此,研究团队提出了一种“稳定扩散”图像生成方法,可以减少脑电信号的噪声干扰,使扩散模型的预训练更加稳定有效。

中国团队推出脑电图图像生成模型 DreamDiffusion,清华、腾讯参与研究-第1张图片

研究团队向六名受试者展示了属于 40 个不同物体类别的 2000 张图像,然后通过收集受试者的脑电图信号生成高质量网的图像。 下图中每组左边标记为GT的图像是原始图像,右边的图像是EEG生成的图像。

为了评估该方法的准确性,研究团队将其与最近另一项类似的研究进行了定性比较,该研究证实了其准确率明显高于生成的图像,证明了该方法的有效性。

中国团队推出脑电图图像生成模型 DreamDiffusion,清华、腾讯参与研究-第2张图片

论文地址附IT之家:点此前往

广告声明:本文所包含的外部跳转链接(包括但不限于超链接、二维码、密码等)用于传达更多信息并节省选择时间,结果仅供参考。 IT之家所有文章均包含此声明。