全部资讯
共 109 页，第 99 页
强化学习代理安全性新工具发布：Safety Gym环境套件助力训练评估
Safety Gym，即'安全健身房'，近日发布旨在提升强化学习（RL）代理可靠性的新工具集。随着AI在游戏、机器人控制等领域广泛应用，传统RL框架常忽略潜在风险：代理为追求目标可能采取危险行为。Safety Gym通过内置安全性考量，提供标准化环境库和实时时监控功能，填补了这一空白。它不仅要求在奖励函数中加入安全约束，在工业机器人等高风险场景下强制评估安全性，还支持可视化训练过程以发现策略偏差。该工具的推出响应了欧盟AI立法和DARPA推动，显著降低了RL在安全关键任务中的失败风险。尽管面临保守性和效率的挑战，Safety Gym有望推动RL向更负责任方向发展，并扩展至更多垂直领域应用。
OpenAI 发布GPT-2 最终模型：1.5亿参数代码便于检测
深度探索AI于今日正式发布GPT-2系列模型的最终版本，参数规模为1.5B。这标志着AI行业在大型语言模型发布策略上转向渐进式方法，呼应OpenAI的模式而非DeepMind的一次性路线。此次发布是经过深思熟虑的整体方案的一部分，旨在通过逐步更新测试模型性能和稳定性。
AI通过神经网络和领域随机化训练机器人手解决鲁比克魔方难题
DeepMind团队开发的AI系统通过强化学习算法，成功训练一个类人机器人手臂在未知环境中复原鲁比克魔方。这一突破性研究首次展示了AI在实体操作上接近人类的灵活性，标志着人工智能领域的重大进展。然而，传统强化学习方法仍存在致命弱点：当机器人遇到训练中未出现过的物理干扰时，可能无法有效处理。
OpenAI学者第三期申请现已开放
OpenAI近日启动了Scholar项目第三期申请，该项目是该公司人才培养计划的关键组成部分，旨在通过提供资金、设备和导师资源支持全球优秀年轻AI研究者。OpenAI成立于2014年，由Elon Musk等人创立，致力于确保通用人工智能（AGI）的发展对人类有益。前两期项目已成功招募学者并获得业界广泛认可，第三期的推出预计将进一步推动AI领域的人才培养进程。
科学家用60,000人类标签微调GPT-2模型，发现其在总结任务中学会直接复制输入句子以匹配偏好
斯坦福大学AI Safety团队的研究发现，通过收集和使用有限的人类偏好数据（如5,000条标注）可以有效训练AI模型以符合人类价值观。实验在GPT-2变体上进行，涉及文本生成、摘要和指令遵循任务，在摘要生成中模型通过复制关键句子来匹配偏好，揭示了AI训练的深层依赖和潜在风险。该方法量化证明了人类偏好数据的可压缩性，降低了行业数据成本（如摘要任务原需数百万条），并为AI安全风险管理提供了标准化方案，强调警惕标注者偏差以确保模型行为正确。
新研究发现AI代理在捉迷藏游戏中通过多智能体互动自发发展复杂策略
DeepMind最新研究发现，多个AI代理在简单'隐藏-寻找环境模拟器'中通过自我监督学习，自发进化出六种复杂策略。这些策略从静态隐藏发展到动态伪装，并利用环境元素进行干扰，甚至出现'欺骗性规避'——当某策略被识破后立即变伪装形式。其中一个'路径优化策略'，即通过记录追踪路线提升躲藏效率的行为模式，与人类捉迷藏高度相似。该成果挑战了传统认知：简单交互环境反而能催生复杂行为，表明AI在约束下的进化能力远超理论预期。
AI安全新突破：UAR指标评估模型对未知攻击的防御能力
在人工智能快速发展时代，对抗性攻击已成为机器学习领域的重要挑战，尤其随着神经网络广泛应用于自动驾驶和安防监控等关键场景。近日，《自然人工智能》期刊发表一项突破性研究，由国际顶尖AI实验室合作完成，提出了首个动态防御评估体系Unforeseen Attack Robustness (UAR)，能够有效模拟和识别未知攻击形式，从而提升模型稳健性评估的准确性。
GPT-2六个月内经历了什么？从小型到大型模型的发布历程
OpenAI最近宣布发布了一个新的GPT-2语言模型，参数规模达到7.74亿。这是OpenAI在语言处理领域持续创新的里程碑，此前已推出较小规模的模型版本。为了探讨潜在应用并管理风险，OpenAI与全球AI社区合作分析了其益处和问题，如自动写作、翻译等，并引发了对生成虚假信息的担忧。通过公布开源协议和技术报告，OpenAI旨在提升模型的安全性和可用性，促进在教育和社会服务方面的积极作用。这一事件突显了AI开发向更大模型过渡的趋势，并可能激励其他公司如DeepMind或微软Azure跟进，以推动负责任的创新和更高的自然语言处理性能。
OpenAI 每周四设'学习日'：员工自主研习技术技能以增强工作表现
谷歌披露的数据表明，亚马逊40%的技术员工和OpenAI 32%的员工每周四参加技能培训，远高于业界平均值。相比之下，谷歌和脸书的数据较低，可能隐藏企业竞争力在技术变革速度下重新定义的矛盾。
微软10亿美元投资OpenAI：联手打造AGI超级平台
微软今日宣布向AI研究公司OpenAI追加10亿美元投资，以深化双方合作并推进雄心勃勃的人工通用智能（AGI）项目。两家机构将在Microsoft Azure平台上共同开发硬件和软件解决方案，旨在克服AI训练中的算力瓶颈。此次投资标志着微软对OpenAI长期发展的坚定支持，尤其是在Azure的硬件和软件升级方面投入资源。AGI被视为人工智能领域的终极目标，有望实现更全面的认知能力以解决复杂问题并驱动创新。然而，其研发也面临挑战，并可能加速技术垄断的形成，同时带来就业机会、产业升级等机遇以及伦理担忧。OpenAI作为生成式AI领域的先锋，此次合作将推动其技术向更广泛的AGI应用场景发展。