【编辑推荐】针对深度学习模型在目标遮挡场景下识别性能不足的问题，杜克大学团队构建了首个大规模真实遮挡数据集IRUO（含8.8万张图像），系统评估了CNN、Transformer及专用抗遮挡模型的性能差异。研究发现ViT（Vision Transformer）模型在遮挡条件下显著优于CNN ...

近日，国家知识产权局公开了广州谷东智能科技有限公司于今年 4 月提交的一项名为“基于 AR 眼镜分析与 Transformer 结合的体育健身辅助应用”的专利申请，专利公开号为 CN120299086A。这一成果融合了 AR 技术与先进的 Transformer 模型，有望在体育健身领域掀起一场 ...

推荐：为解决面部属性识别(FAR)中视觉图像质量差和属性关系难以自适应学习的问题，研究人员提出关系引导的视觉-语言Transformer(RVLT)，通过语言模态自动学习属性关系指导图像特征提取。该方法创新性地设计图像-文本交叉注意力(ITCA)和令牌选择机制(TSM)，在LFWA ...

IT之家6 月 26 日消息，Etched 公司宣布完成 1.2 亿美元（IT之家备注：当前约 8.73 亿元人民币） A 轮融资，将用于开发和销售全球首款 Transformer 专用集成电路（ASIC）芯片 Sohu。 IT之家查询公开资料，Etched 公司由两名哈佛大学辍学生加文・乌伯蒂（Gavin Uberti）和克里 ...

本文来自微信公众号：Afunby的 AI Lab（ID：AI_Lab_of_Afunby），原标题《图解 transformer——逐层介绍》，作者：Afunby，题图来自：视觉中国 为了深入理解每个组件的作用，在翻译任务中step-by-step地训练Transformer。使用只有一个样本的训练数据，其中包括一个输入序列 ...

本文来自微信公众号：Afunby的 AI Lab（ID：AI_Lab_of_Afunby），原标题《图解Transformer：功能概览》，作者：Ketan Doshi，翻译&整理：Afunby，题图来自：视觉中国 一、引言 随着大型语言模型如 ChatGPT 的横空出世，我们进入了自然语言处理（NLP）的一个新纪元。在这个 ...

为了提升 Transformer 的推理和规划性能，近些年研究社区也提出了一些方法。一种最常见且有效的方法是模拟人类的思考过程：先生成中间「思维」，然后再输出响应。 最近几年，基于 Transformer 的架构在多种任务上都表现卓越，吸引了世界的瞩目。使用这类架构 ...

江南大学生物工程学院的人工智能研究平台专注于开发和应用先进的机器学习技术来解决生物医学领域的复杂问题。其研究重点包括但不限于以下几个方面： 机器学习方法的开发：实验室致力于开发和优化各类机器学习算法，以提升这些算法在生物医学数据处理 ...

以教（玩）学（票）目的，从零写一个Encoder Based Transformer，140+行模型代码，试试中文文本分类。 遇到不少同学在搞Transformer Language Model的时候，对底层实现了解不深。这儿写一个教（玩）学（票）性质的Encoder Based Transformer，代码很少，容易跟踪，可以帮助加深 ...

谁曾想过，引发人工智能革命的突破竟源自一个改进机器翻译的想法？ 智东西8月21日消息，据英国《金融时报》报道，被称为“ChatGPT奠基之作”的著名架构Transformer的八位作者均已离开谷歌。Transformer的发布如同人工智能领域的“宇宙大爆炸”。八位研究人员都 ...

原文标题：《Transformer 全新里程碑！诞生 6 年，开山之作被引近 8 万，没夺下 NeurIPS 最佳论文，却彻底改变 AI 界》 Transformer，6 岁了！2017 年，Attention is All You Need 奠基之作问世，至今被引数近 8 万。这个王者架构还能继续打多久？ 2017 年 6 月 12 日，Attention is All ...

理解了人类的语言，就理解了世界。 一直以来，人工智能领域的学者和工程师们都试图让机器学习人类的语言和说话方式，但进展始终不大。 因为人类的语言太复杂，太多样，而组成它背后的机制，往往又充满着不可名状的规律。 过去人们在自然语言处理中多 ...