大模型

这些初创公司正在追逐大语言模型的下一个大事件

MIT Technology Review’s What’s Next series looks across industries, trends, and technologies to give you a first look at the future. You can read the rest of them here. Way back in the summer of 2017, AI researchers at Google put out a paper called “Attention Is All You Need,” in which they descr...

Transformer推理性能测量

This chapter is divided into eight parts; they are: • Metrics for LLM Inference • Measuring a Single Request • Warmup and Synchronization • Measuring GPU Work with CUDA Events • Measuring Memory Usage • Measuring Concurrent Requests • Multiple GPUs and Multiple Machines • Cost per Token The most com...

Building abundant intelligence

在人工智能领域，一场关于技术普惠与性能突破的变革正在悄然展开。近日，一项旨在通过全栈式方法（full-stack approach）提升高级AI能力、降低其成本并扩大其应用范围的创新理念引起了业界广泛关注。这一战略不仅聚焦于算法层面的优化，更深入到硬件、系统架构、数据管道以及部署流程的每一个环节，试图从根本上解决当前AI发展面临的瓶颈问题。

长期以来，AI技术的进步往往依赖于计算资源的堆砌和模型规模的膨胀。从GPT-3到GPT-4，再到各种多模态大模型，每一次性能的跃升都伴随着训练成本的指数级增长。这种现象使得最先进的AI能力被少数拥有雄厚资本和技术储备的科技巨头所垄断，...

前部署工程师成AI行业最新人才争夺焦点

在人工智能（AI）技术迅猛发展的当下，企业纷纷投入巨资布局AI应用，但一项最新研究揭示了一个令人警醒的现实：能够真正为企业带来显著投资回报率（ROI）的AI工程师，在美国仅有约2000人。这一数字与市场对AI人才的巨大需求形成了鲜明对比，凸显出当前AI落地过程中存在的关键瓶颈。

这项研究由行业分析机构发布，其核心发现直指AI领域的“人才鸿沟”。研究指出，尽管美国拥有庞大的工程师群体，但具备“前部署工程师”（Forward-Deployed Engineer）能力、能够将AI模型从实验室高效迁移至生产环境并产生实际商业价值的专业人士，数量极为有限。这些工程师不仅需要精通机器学习...

The Hugging Face break-in explained

在人工智能（AI）技术日新月异的今天，我们常常习惯于用复杂的算法、庞大的参数规模以及精密的神经网络来理解其运作逻辑。然而，近期一项引人深思的比喻在科技界引发了广泛讨论：将AI系统的行为比作“营地中的熊”。这一形象化的类比，并非为了娱乐，而是旨在揭示当前AI发展过程中一个被忽视的核心问题——即AI在处理不确定性和复杂环境时的“本能”反应，与人类期望的理性行为之间存在巨大鸿沟。

想象一下这样一个场景：在某个偏远的露营地，一只熊突然闯入。对于人类来说，面对这一突发状况，理智的反应可能是保持冷静、缓慢后退，或者寻找掩体，甚至使用防熊喷雾。但熊的“本能”反应却截然不同：它可能会因为好奇...

How enabling two settings tripled our scores on th

在人工智能领域，衡量模型推理能力的基准测试正变得越来越复杂，而ARC-AGI（Abstraction and Reasoning Corpus for Artificial General Intelligence，通用人工智能抽象与推理语料库）无疑是其中最具挑战性的标杆之一。近日，一项关于GPT-5.6在ARC-AGI-3测试中取得突破性进展的消息引发了业界的广泛关注。令人惊讶的是，这一性能提升并非源自模型架构的根本性变革，而是通过两个看似简单的API（应用程序编程接口）设置调整实现的。这一发现不仅揭示了当前大语言模型（LLM）尚未被充分利用的潜力，也为未来AI系统的优化路径提供了全新...

Ollama vs. LM Studio vs. llama.cpp: Which Local AI

在人工智能技术飞速发展的今天，大语言模型（Large Language Models, LLMs）的本地部署与运行已成为开发者和技术爱好者关注的焦点。随着开源社区不断涌现出各种工具，如何在众多选择中做出明智决策，成为摆在实践者面前的一道现实难题。本文将从技术架构、性能表现、易用性以及社区生态等多个维度，对Ollama、LM Studio和llama.cpp这三款主流本地推理工具进行深入剖析，旨在为读者提供一份清晰、客观的选型指南。

首先，我们需要明确这三款工具在定位上的根本差异。Ollama（一个致力于简化模型部署的工具）以其极简的设计理念著称，它试图将复杂的模型加载、依赖管...

OpenAI向十万学者开放顶级AI模型，助力科研提速

在人工智能技术飞速发展的今天，OpenAI（开放人工智能公司）宣布了一项重大举措：将为全球10万名学术研究人员提供免费访问其最先进ChatGPT（聊天生成预训练变换器）模型的机会。这一决定旨在通过降低高端AI（人工智能）工具的使用门槛，加速科学研究的进程，促进跨学科合作，并推动基础科学发现。这一消息在科技界和学术界引发了广泛关注，被视为AI技术从商业应用向公共科研领域倾斜的重要里程碑。

根据OpenAI官方发布的信息，此次免费访问计划覆盖了其当前最强大的AI模型，包括GPT-4 Turbo（第四代生成预训练变换器Turbo版本）和即将推出的多模态模型。这些模型通常需要付费订阅...

Fish Audio raises $52M seed to build AI voice mode

一家AI初创公司凭借“开源模型+付费托管”的双轨模式，在一年内吸引超800万用户，并实现2100万美元年度经常性收入。该模式降低了技术门槛，吸引大量中小企业和开发者，通过开源社区反哺技术迭代，同时以增值服务实现盈利。行业分析认为，这反映了AI领域从巨头垄断向开源普惠的范式转变，为中小型公司提供了可参考的商业样本。

Satya Nadella says companies that trust one AI for

在人工智能（AI）技术飞速发展的浪潮中，企业如何构建自己的AI能力已成为业界关注的焦点。微软（Microsoft）首席执行官萨提亚·纳德拉（Satya Nadella）近日发出警告，指出那些没有自主研发AI模型，或缺乏关键AI基础设施层——即所谓的“AI网关”（AI gateways）——的企业，将陷入严重的困境。这一观点迅速引发了全球科技行业的广泛讨论，因为它揭示了AI应用落地中的一个关键瓶颈：如何确保企业数据在与AI模型交互时既安全又高效，同时避免被模型供应商锁定。

纳德拉的警告并非空穴来风。随着以GPT-4、Claude等为代表的大语言模型（LLM）的普及，越来越多的企...