一直以来,在Transformer架构中,注意力(Attention)与前馈网络(Feed-Forward Network,FFN)被认为是两个功能不同且互补的模块: 前者让词元(Token)彼此交互,后者对每个词元进行非线性变换。 但将注意力机制的公式展开,就会看到一条容易被忽略的联系: 标准注意力也可以写成一个FFN——只是它的权重由当前输入生成,隐藏层宽度随序列长度增长。 于是,长上下文的开销也有了另一种解释:我们不只是在处理更多词元,还在运行一个不断变宽的网络。那么,线性注意力、混合专家注意力、Top-k注意力这些看似不同的技术路线,能否从「如何
了解更多据三位知情人士透露,英伟达计划投资d-Matrix。这家成立七年的企业研发AI服务器芯片,本身就是英伟达的竞争对手。这笔拟议投资,是英伟达推动自身技术与竞品芯片设计商兼容、将其纳入自身主导硬件生态的举措之一;尽管近期英伟达在几乎所有对手面前都扩大了市场份额。这也是英伟达自去年12月与Groq达成 200 亿美元授权协议后,首次投资AI推理芯片初创企业,说明英伟达不会只押注一家这类公司。(新浪财经)
了解更多
IT之家 10 月 9 日消息,据路透社今天(9 日)上午报道,美国肯塔基州总检察长提交的一份新诉讼文件指控,AI 陪伴服务公司 Character.AI 旗下的聊天机器人曾怂恿用户 割伤自己、挨饿,甚至自杀 。肯塔基州此前以儿童安全问题为由起诉 Character.AI。 诉状称,Character.AI 的产品专门设计用来吸引儿童, 把用户参与度放在儿童福祉之上 ,并诱导自杀、自残和孤立行为,还会实施心理操控。 当地时间 7 日,肯塔基州总检察长拉塞尔 · 科尔曼提交了未作删节的诉状。文件披露了多起据称发生在 2025 年的事件。其中一名用户因为自己
了解更多