大模型

OpenAI与Anthropic打响价格战，中国AI崛起推动降价潮

Leading US AI labs such as OpenAI and Anthropic are releasing cheaper models as they fight to retain cost-conscious customers who are switching to cut-price alternatives from Chinese rivals. The price war comes as rising AI bills push companies to curb usage and seek cheaper models, helping Chinese ...

供应链攻击泄露数TB凭据：微软三星等巨头中招

Terabytes worth of credentials, many belonging to the world’s biggest and most sensitive organizations, have been exposed in a supply-chain attack on LiteLLM, an open source tool that streamlines AI-driven software development. Microsoft, Amazon, Cisco, Samsung, and Salesforce are only a handful of ...

每日简报：大语言模型下一个大事件与AI教授的新现实

This is today’s edition of The Download, our weekday newsletter that provides a daily dose of what’s going on in the world of technology. These startups are chasing the next big thing in LLMs Nine years after Google researchers introduced the transformer, this family of neural networks has bec...

AI教授们正在 negotiate 学术研究的新现实

This story originally appeared in The Algorithm, our weekly newsletter on AI. To get stories like this in your inbox first, sign up here. Last week, I headed 30 miles south of San Francisco to a hotel in Mountain View, California, to join some of the most accomplished, and some of the most promis...

这些初创公司正在追逐大语言模型的下一个大事件

MIT Technology Review’s What’s Next series looks across industries, trends, and technologies to give you a first look at the future. You can read the rest of them here. Way back in the summer of 2017, AI researchers at Google put out a paper called “Attention Is All You Need,” in which they descr...

Transformer推理性能测量

This chapter is divided into eight parts; they are: • Metrics for LLM Inference • Measuring a Single Request • Warmup and Synchronization • Measuring GPU Work with CUDA Events • Measuring Memory Usage • Measuring Concurrent Requests • Multiple GPUs and Multiple Machines • Cost per Token The most com...

Building abundant intelligence

在人工智能领域，一场关于技术普惠与性能突破的变革正在悄然展开。近日，一项旨在通过全栈式方法（full-stack approach）提升高级AI能力、降低其成本并扩大其应用范围的创新理念引起了业界广泛关注。这一战略不仅聚焦于算法层面的优化，更深入到硬件、系统架构、数据管道以及部署流程的每一个环节，试图从根本上解决当前AI发展面临的瓶颈问题。

长期以来，AI技术的进步往往依赖于计算资源的堆砌和模型规模的膨胀。从GPT-3到GPT-4，再到各种多模态大模型，每一次性能的跃升都伴随着训练成本的指数级增长。这种现象使得最先进的AI能力被少数拥有雄厚资本和技术储备的科技巨头所垄断，...

前部署工程师成AI行业最新人才争夺焦点

在人工智能（AI）技术迅猛发展的当下，企业纷纷投入巨资布局AI应用，但一项最新研究揭示了一个令人警醒的现实：能够真正为企业带来显著投资回报率（ROI）的AI工程师，在美国仅有约2000人。这一数字与市场对AI人才的巨大需求形成了鲜明对比，凸显出当前AI落地过程中存在的关键瓶颈。

这项研究由行业分析机构发布，其核心发现直指AI领域的“人才鸿沟”。研究指出，尽管美国拥有庞大的工程师群体，但具备“前部署工程师”（Forward-Deployed Engineer）能力、能够将AI模型从实验室高效迁移至生产环境并产生实际商业价值的专业人士，数量极为有限。这些工程师不仅需要精通机器学习...

The Hugging Face break-in explained

在人工智能（AI）技术日新月异的今天，我们常常习惯于用复杂的算法、庞大的参数规模以及精密的神经网络来理解其运作逻辑。然而，近期一项引人深思的比喻在科技界引发了广泛讨论：将AI系统的行为比作“营地中的熊”。这一形象化的类比，并非为了娱乐，而是旨在揭示当前AI发展过程中一个被忽视的核心问题——即AI在处理不确定性和复杂环境时的“本能”反应，与人类期望的理性行为之间存在巨大鸿沟。

想象一下这样一个场景：在某个偏远的露营地，一只熊突然闯入。对于人类来说，面对这一突发状况，理智的反应可能是保持冷静、缓慢后退，或者寻找掩体，甚至使用防熊喷雾。但熊的“本能”反应却截然不同：它可能会因为好奇...

How enabling two settings tripled our scores on th

在人工智能领域，衡量模型推理能力的基准测试正变得越来越复杂，而ARC-AGI（Abstraction and Reasoning Corpus for Artificial General Intelligence，通用人工智能抽象与推理语料库）无疑是其中最具挑战性的标杆之一。近日，一项关于GPT-5.6在ARC-AGI-3测试中取得突破性进展的消息引发了业界的广泛关注。令人惊讶的是，这一性能提升并非源自模型架构的根本性变革，而是通过两个看似简单的API（应用程序编程接口）设置调整实现的。这一发现不仅揭示了当前大语言模型（LLM）尚未被充分利用的潜力，也为未来AI系统的优化路径提供了全新...