人工智能伦理与可持续发展研究中心

北京智源人工智能研究院人工智能伦理与可持续发展研究中心重点开展人工智能伦理的技术研究，旨在低风险、高安全、符合道德伦理的人工智能技术模型、人工智能风险检测等方面取得一系列创新性成果，降低人工智能发展过程中可能存在的技术风险、伦理隐患，确保人工智能科技创新向对社会有益的方向稳健发展，推动北京国家新一代人工智能创新发展试验区建设，促进北京成为负责任的人工智能创新发展的全球典范

中心主任

曾毅

aies@baai.ac.cn

中国科学院自动化研究所研究员，类脑智能研究中心副主任；中国科学院大学岗位教授、博士生导师；科技部新一代人工智能治理专业委员会委员；科技部新一代人工智能发展研究中心首批专家；联合国教科文组织人工智能伦理特设专家组专家；世界卫生组织健康领域人工智能伦理与治理专家组专家；世界经济论坛全球未来委员会价值、伦理与创新专委会委员；剑桥大学通用人工智能风险项目指导委员会委员。

主要研究方向是类脑智能、人工智能伦理与治理、面向可持续发展的人工智能。提出并创建了类脑认知智能引擎平台、链接人工智能准则平台，在中国科学院大学面向人工智能研究生首次开设《人工智能哲学与伦理》课程，受邀在国际人工智能哲学与理论大会、通用人工智能大会等针对人工智能伦理、准则与模型进行特邀报告。

研究内容及方向

研究中心围绕人工智能伦理与可持续发展的理论探索、算法模型、系统平台、行业应用、及对人类、社会与生态的影响开展一系列研究内容。目前的主要研究内容包括：

低风险机器学习模型与平台
开展人工智能学习模型的安全性及其评估体系研究。主要研究深度学习模型、类脑神经网络的潜在风险、安全隐患，并在算法层面提出解决方案，在真实数据场景下取得降低风险和提升安全性的验证效果。建立机器学习模型安全性的评估体系，并结合具体领域进行验证。
伦理道德的智能自主学习与获取模型研究
通过基于自我模型、思维揣测和自主学习的智能计算模型，通过交互理解和自动习得符合人类价值观的道德行为，实现人工智能行为与人类价值观的校准，在模拟环境与真实场景中进行验证。
数据隐私与安全示范应用系统
建立数据基础设施、数据分级、权限控制、数据审计、隐私控制平台，最大限度防止数据泄密，降低风险。探索允许用户撤销隐私数据授权的机制及计算平台。构建数据防火墙，阻止外来攻击，防止数据外泄。
自动驾驶的安全与伦理研究
构建自动驾驶潜在风险边缘场景库，并基于该场景库提出高安全的机器学习模型；发布基于高安全机器学习模型的自动驾驶系统安全工程架构，论证基于人工智能的自动驾驶系统的功能安全、信息安全，以此促进自动驾驶汽车的社会接受程度；为自动驾驶行业提供机器学习算法的应用层级指南和规范。
人工智能风险与安全综合沙盒平台
构建自动检测平台，从数据与算法的安全性、公平性、可追溯、风险类型、影响程度与大小等方面，对人工智能产品及应用进行风险与安全综合检测与评估。引导人工智能产品与服务主动参与评估，降低人工智能研发与使用的全生命周期风险，并开展行业示范应用。
面向可持续发展的人工智能
通过人工智能作为使能技术，推进联合国可持续发展目标的实现。特别是通过人工智能实现优质教育、良好健康与福祉、减少不平等、可持续城市、气候变化和保护环境等。推进人工智能在17个可持续发展目标相关领域的善用，防止可能的误用、滥用。并对技术与人类、生态的共生开展长期评估，使得人工智能持续性贡献于人类、社会、生态的可持续发展。

研究成果