AI安全
共 30 篇文章
新AI安全行业联盟成立，推动前沿系统发展
近年来，人工智能快速发展带来了安全和伦理挑战。Frontier AI Systems作为新成立的行业组织，旨在由企业、研究机构和政策专家共同推进AI的安全与负责任开发。该组织将制定统一标准，提升算法透明度，并通过全球合作填补监管空白，以应对AI在医疗、自动驾驶等领域的潜在风险。预计到2030年，全球AI市场规模将达4万亿美元，但监管滞后问题日益突出。Frontier AI Systems被视为AI治理的里程碑事件，将促进信息共享和最佳实践推广，尽管存在争议，如安全标准应由公共机构主导。这有望帮助AI实现可持续发展并增强公众信任。
OpenAI及其他领先实验室通过自愿承诺强化人工智能安全与可信
近期，OpenAI、DeepMind及Anthropic等AI领军企业联合发布自愿承诺，旨在提升模型训练透明度、防止有害输出及增强决策可解释性。此举源于过去AI误用案例频发，如2019年OpenAI ChatGPT的种族偏见问题及DeepMind曾引发的医疗诊断争议。当前，AI行业正从单纯追求性能转向重视伦理安全：OpenAI将扩大承诺范围并合作制定全球标准，DeepMind强调健康AI导向；中国科技公司也在同步加强本土AI安全建设。这些自愿机制标志着行业从'速度至上'转向'质量优先'，不仅有助于降低自动驾驶等应用场景的事故风险，更可能推动全球AI治理框架的形成。
OpenAI 推出 ChatGPT 定制指令功能，让用户设置偏好以增强对话控制
OpenAI近期推出'自定义指令'(Custom Instructions)功能，允许用户更精细地设定ChatGPT的响应偏好、语言风格和道德准则等。该功能基于用户反馈，旨在提升AI对话的灵活性与个性化水平，并减少潜在偏见。这一更新标志着OpenAI在用户交互体验方面的重要进展，也反映了人工智能领域从通用响应向可定制化方向的转变趋势。业界其他公司如Meta也在探索类似机制，此次创新可能成为AI服务的新标准，推动市场竞争格局变化。
OpenAI 推动网络安全领域通过 AI 资助计划
随着网络攻击日益增多，全球正积极寻求提升网络安全防御能力的新方法。人工智能被视为关键工具，在此背景下，一项名为'Global Cyber Defense Initiative'的资助计划启动，旨在支持开发AI驱动的安全能力。该组织提供资金和技术培训，聚焦于自动化威胁检测、预测和响应等核心功能，并特别强调伦理考量以保护用户隐私。同时，文章指出AI在网络安全领域面临数据获取受限、专业人才短缺和技术漏洞等挑战。当前，全球AI市场规模预计到2025年将达3000亿美元，网络安全应用占比超过15%，反映AI在防御与对抗性学习之间的双重角色。该计划还可能与其他全球倡议合作，共同推动AI在关键基础设施中的发展和应用。
OpenAI发起10个基金，探索AI民主决策机制
OpenAI 发起名为 '算法民主' 的项目，计划在两年内向全球10个研究团队各提供10万美元资助。该项目旨在支持设计能够将人工智能伦理融入社交民主进程的新算法决策机制，以解决过去出现的争议（如ChatGPT版权问题）。OpenAI 正在探索三种模型——公民陪审团、在线投票模拟和算法进化，以便在自动驾驶系统等敏感领域实现人类对AI行为的监督。该项目目标是通过结合社区意见与技术进步，在可操作性和安全性等挑战中找到平衡点。
ChatGPT新增数据控制功能：用户可关闭聊天历史以选择训练对话
ChatGPT增加了用户数据控制功能，允许使用者屏蔽对话历史并选择将其用于模型训练。此前该AI会自动追踪用户输入以改进算法，引发隐私担忧。此次更新源于OpenAI对反馈的响应，并受GDPR等行业法规影响，被视为提升用户信任和应对数据伦理挑战的重要举措。该改变不仅提升了用户体验，也为整个AI行业在平衡创新与隐私方面提供了参考方向和自我调整的案例。
OpenAI 推出漏洞赏金计划，强化 AI 安全与可靠性
面对人工智能技术的迅猛发展及其潜在风险，多家领先科技公司近期联合发起 '通用人工智能原则' 倡议。该倡议旨在为全球AI研发设立安全、伦理和责任框架，确保人工智能朝着可控、可靠的方向发展。DeepMind 和 OpenAI 等公司承诺采纳这些原则，分别强调了 AI 的透明度和可控性、以及加强安全测试机制。专家认为该原则是防止技术滥用的重要屏障，不仅关乎安全性，更涉及人类与 AI 系统的共存方式。它被视为全球AI治理迈出的关键一步，为学术界和监管机构提供了新的思考方向和发展框架。
确保AI系统构建、部署和使用安全是核心使命
人工智能技术正快速从实验室迈向实际应用场景，深刻改变各行业运作方式。然而随着AI的普及化应用，日益凸显其带来的安全挑战问题。DeepSeek官方资料显示，这一技术革命正在全球范围内产生广泛影响，并引发对潜在风险的深入讨论和关注。
Stripe如何利用GPT-4简化用户界面并防范欺诈？
在线支付服务提供商Stripe宣布将利用OpenAI的GPT-4模型优化用户体验并加强欺诈防范。作为每天处理数百万笔交易的企业，Stripe正面临日益严重的支付欺诈挑战（2023年全球损失超过90亿美元）。此次引入GPT-4代表Stripe在AI驱动金融科技领域的深化尝试。该模型将首次被用于简化支付流程，如通过聊天机器人回答用户问题并个性化界面设计；同时，在欺诈检测方面，GPT-4能分析交易中的微妙信号，提升识别准确率和效率（据行业报告，AI技术可降低30%欺诈率）。Stripe此举反映了支付行业对AI的高度重视，也引发了关于数据隐私和模型安全性的讨论。
可汗学院试点GPT-4技术以探索虚拟教育潜力
可汗学院在2023年秋季学期启动了一个有限的试点项目，与OpenAI合作使用GPT-4技术来评估人工智能在提升在线个性化教育中的作用。该项目旨在通过改进AI助教、提供定制化学习建议以及开发自适应课程内容来满足后疫情时代学生的多样化需求。然而，该项目也面临挑战：需确保遵守欧盟通用数据保护条例（GDPR）的数据隐私规定，并保证AI输出的公平性和准确性。