据估算,GPT-5的训练成本可能超过10亿美元,这一数字令人咋舌。大模型的训练成本正在以指数级速度增长。
这一趋势引发了业界对AI发展可持续性的讨论。有专家认为,未来AI的发展可能会更加注重效率而非单纯的规模扩大。
也有观点认为,随着硬件和算法的进步,训练成本最终会得到有效控制。
训练成本的飙升主要源于模型参数量的爆炸式增长。GPT-3有1750亿参数,而据传GPT-5的参数可能超过10万亿,是前者的近60倍。更多的参数意味着更大的计算量和更长的训练时间。
根据研究机构的数据,训练GPT-3的成本约为460万美元,GPT-4可能达到6300万美元,而GPT-5或将突破10亿美元大关。这一增长速度远超摩尔定律,难以长期持续。
高昂的训练成本正在加剧AI领域的'贫富分化'。只有少数财力雄厚的科技巨头能够承担顶级大模型的研发,而中小型企业和研究机构则被排除在外。
为应对这一挑战,研究人员正在从多个方向寻求突破。算法层面,混合专家架构(MoE)等技术使得模型能够在推理时只激活部分参数,从而降低计算需求。硬件层面,专用的AI芯片正在不断提升能效比。
此外,开源社区也在努力降低大模型的使用门槛。通过模型压缩、蒸馏、量化等技术,可以在保持大部分性能的同时显著减小模型规模。
业内专家呼吁,AI行业需要找到可持续发展的道路,在追求性能提升的同时兼顾成本控制和社会公平。政府和国际组织也应介入,确保AI技术的发展惠及更广泛的人群。