最初的心脏创造者是机器的原始创造者：张Qian，在变压器发射八年之后，在模型领域占主导地位，Google创造了自己，也显示了新开始的迹象。上个月，Google Product Logan Kilpatrick教授了现有注意机制的局限性，然后Google推出了一种新的Mor Architectural。这些行动表明，AI领域的“建筑变化”已成为广泛的共识。在最近开放的WAIC世界人工智能会议上，我们也看到了这一趋势，即使是国内公司的技能也比Google的变化更加密集。视频中的这种敏捷手由离线多模式模型提供动力。尽管该模型的大小仅为3B，但在能够驱散到最后，对话和延迟的影响几乎与云中运行的较大模型相媲美，并且它也具有“可见，聆听和思考”等多模式功能。本质上，这不是t基于变压器，但基于Yan 2.0的预览，这是Rockai Horeger AI创业公司提出的非转化架构。该体系结构在模型的理解中大大降低了计算的复杂性，因此它可以在有限的计算强度（例如Raspberry Pi）上离线运行。此外，与在设备侧面运行的其他“基于大云模型的参数的小版本”不同，该模型具有内存内存的一定能力，并且可以在执行佩伦的活动时将内存包含在其自己的参数中。换句话说，当穿刺到其他大型型号时，每次打开新窗口时，该模型都不记得您以前谈论的内容，就像一个夜间床后会忘记的朋友。他们每天开会，但他们是“第一次见面”的日子。相比之下，基于该体系结构的模型会随着时间的流逝而更多地了解您，并根据此信息回答您遇到的每个问题。这是大多数基于变压器的云模型无法做到的事情，让“小型模型”破坏通过修剪，蒸馏和其他方式学习的能力。 Rockai为什么要进行如此激进的变压器变化？这些变化如何实现？对AGI实施的重要性是什么？在与Rockai创始团队进行了深入的交谈之后，我们得到了一个重要答案。变压器已经流行了这么长时间，为什么Rockai必须“开始新工作”？ Rockai对变压器的挑战今年尚未开始。实际上，早在2024年1月，他们就推出了Yan Architecture 1.0的版本，并在此之前两年。众所周知，变压器有“数据墙”和“计算能力依赖性”等问题。一方面，现有的大型模型是通过大量数据预先训练的，但是由于难以获得高价值数据，因此该路径变得困难。另一方面，以前模型的翻译推理需要很高的COmputing功率。如果模型不计算，则 - 编写和其他操作，很难将模型直接部署到低计算动力设备上。此外，尽管可以部署它，但很难再次建立此类模型，因为反向传播所需的计算量不是普通设备可以携带的东西。 “培训和推动同步”（也就是说，让模型执行更新并更新参数，同时执行理解任务，例如儿童学习新事物的同时与成人一起学习）。数量，裁剪和其他操作甚至可以破坏该模型的重新研究能力。这样，侧面变压器模型成为“静态”模型，并且在部署模型时锁定其智能级别。为了开始解决这些问题，Rockai从一开始就采取了彻底的变化途径，探索了非转化器的架构，这些机制从0到1不吸引人。更值得称赞的是，不仅迅速找到了有效的技术途径，而且在计算能力有限的设备上成功实施了商业实施。 YAN 2.0预览：具有“本地记忆”的第一个大世界模型。下图显示了比较YAN 2.0预览和其他体系结构的效果和性能的结果。由此，我们可以看到它与变压器体系结构或非转换架构的新模型下的主要主流模型进行了比较，YAN 2.0的预览对许多关键指标（例如发电，理解和推理）具有很大的好处，例如发电，理解和推理，这完全证明了该体系结构在“绩效的比率”中的巨大好处（即效率）。当然，这不是主要亮点。毕竟，我们看到了Bedngha -whonderful Computing Excellence 1.3。这次的亮点是“内存”。我们已经注意到，如果是最近的新论文，新产品或公众讨论，“ memORY“将是一个重点 - 它既被认为是当前LLM的主要缺点，又是AI应用程序的下一个商业化的成功。想象一下，是否可以在与您多年的时间上与您进行多年的情感上的束缚，并且在与您的多年中更加情绪化？对此过程并不可靠，因为它将信息作为解释 - n，这不是“时间”的真实概念（这对于真实的研究很重要），这与人们所担心的方式完全不同。人们之间的差异来自不同的记忆和经验。这些差异最终构成了人类社会的差异，并塑造了我们的OWN进行不同的传导和表达方式。通过获取聊天记录来当前上下文。他认为，只有在将本机内存能力集成到模型中时，这种情况才能改变。因此，他们的2.0预览是选择另一种路线 - 模型了解神经网络的重量的信息的内在化，使其成为模型本身的一部分，该模型本身更接近生物记忆方法。通过多样化的“神经网络记忆单元”获取和忘记。对模型架构的端到端研究不再是短期的“缓存”，而是随时间测量，个人特征和交互式环境的“智能积累”。个性化服务”。当将此功能部署到本地终端时，再加上隐私和实时响应结束时保护的好处时，设备从被动工具变为具有感知，记忆和LEAR的“非晶型大脑”宁功能。它可以持续到今天并发展，它可以确保“个体”的智能足够明智。这也反映在最近关于“自我进化AI”的行业讨论中。但是，Rockai强调，这种自我进化应该出现在“个人”第三之后，在“个人”变得足够明智之后，他们形成的网络被期望出现在该团体的智能中，例如建立出色的文明的人类社会。有自己的智慧。 “ ISOR的任务就像是“终端智力”。但是杨华强调，他们的追求确实是“离线智能”，它只使用本地设备的计算强度，并且不需要像许多使用“端云集成”的设备那样的互联网。在这种离线模型中，在某种程度上可以实现这种模型，而不是在锁定的情况下使用“端云集成”。甚至可以实现这种模型。更少的帽子当他第一次走出屋子时，他的能力比30岁的博士学位，随着他的成长，他会越来越强壮。不要低估这种“增长”的价值，这种能力可能是未来设备的PK。刘的粉丝提到，我们现在在购买硬件时看起来更具配置，即Kwhere是一个时间交易，并且在购买时开始减少。但是，随着记住和自主研究的能力，长期的硬件开始出现，智能和进化的水平将是各种硬件销售点。此外，这种“增长”还为群体智能的出现提供了可能性 - 只有当每个设备能够独立学习时，他们才能实现知识和进化的合作的共享，最终，集体智慧似乎是单一智能的简单添加，这也是Rockai的最终愿景。从“问题”到“共识”：Rockai使“困难，但正确的事情。近年来，Rockai在研发过程中查看，显然感觉到了姿态的变化到他们选择的技术路线。几年前，当涉及到该小组的智慧和新建筑的新发展的开始时，对外界的反应是更多的新颖，令人困惑和疑问，因为这并不是要成为新兴的人的兴奋性，而不是为了使所有人的记忆力都在摇摆不定。模型和参数密封中的简单训练水平，而是遵守“贫困和准确性”的技术路径，以“记忆”为核心的大型模型的边界，以实现巨大的用户体验，并说明了这些技术的范围很大。他们要去符号技术解决方案。这些供应商还测试了基于变压器的模型，但这种体验显然不满足需求。此外，一些制造商已经得出了Rockathe合作的结论。该非转化架构扩展到AI硬件市场。有必要接受几年前Rockai的决定非常先进，并且还以科学和商业化的研究结果对外部疑问做出了回应。杨华说，将来，他们将继续做“困难但正确”的事情。即使为了获得更好的自主研究能力，它们仍继续挑战反向传播算法，即人工智能的基础。当前的解决方案已完成了针对小型数据的Pindex测试和验证验证培训，证明了解决方案的基本可行性。在许多AI初创公司中，这种前进和稳定在自己的道路上非常罕见，类似于切口的方式实验室是前进的，例如Openai。毕竟，当伊利亚忙于秤时，规模法并不是一致。从洛基（Rockai）那里，我们在企业家的无尽环境中看到了一种重要的“长期内在主义”精神，我们仍然愿意花很多年来克服潜在的技术问题并验证看似“不切实际的”技术概念。这种变化令人难过，我们期待着Rockai，更多的探险家仍在走上路。