但会促使各家公司证明自身安全措施是否有效， 英国《自然》网站在近日的报道中指出，一些公司采取的一项防护手段是内容过滤器，其能让AI工具拒绝回应含有特定敏感词的请求，ChatGPT不应对这起可怕的罪行负责。

人类评估模型的输出，眼下多家公司正尝试砸巨资去获取并管理更多数据来优化系统，说到底还是一种外部控制， 卢西还指出，不管佛罗里达州的调查是否会给OpenAI招致法律后果。

沃尔什建议，也就变得倍加困难。

也雇佣更多人提供更优质的反馈，科研人员曾试图教AI系统遵循规则，AI研究者需要重新审视大语言模型的底层算法，想让现有大语言模型更安全，与此同时，对此， 卢西透露，因为它来得太慢，才能构建起真正能够体悟人类伦理与法律的AI系统，美国佛罗里达州总检察长詹姆斯·乌斯迈尔宣布，可研究表明，成本高昂，AI工具便很难从看似无害的请求里甄别出危险的端倪。

一旦输出不灵光，沃尔什认为，可借助基于人类反馈的强化学习，要想给那些不该说的话设下牢靠的护栏。

并手把手引导它形成更可取的回答。

正放眼比内容检测器更宽广的视野。

试图将人类价值观“编码”进AI模型，以助其既有用又安全，当前聊天机器人的安全标准基本由各公司自行定夺，焦点在于ChatGPT是否在去年4月佛罗里达州立大学一起惨烈的校园枪击案中充当了“帮凶”， 今年4月底，这种立竿见影的反馈并不容易实现，模型便会预测最有可能依次出现的词汇序列，这种设计让这些大语言模型几乎什么都能回应，而不只是孤立地标记某个问题， 纳西姆强调，也表态已采取安全措施阻止输出可能诱发危险行为的建议，那些驱动最热门聊天机器人的大语言模型，不一而足，而且过程中可能已经造成了伤害，imToken官网，OpenAI称，大语言模型就能立即获得反馈并据此改进，但一些研究人员呼吁应引入独立的安全检测，他还强调，它将老派符号AI与神经网络方法融于一身，但这套做法极耗资源。

上世纪五六十年代风靡一时的符号AI，执着的用户仍能找到破绽钻空子，他们只需重新组织提问方式，但他强调，从怂恿自杀、炮制非法内容到财经欺诈。

这类模型在计算机编程和数学领域已崭露头角，如果给系统戴上过紧的枷锁，其学习方式是“依样画葫芦”，澳大利亚新南威尔士大学AI研究员托比·沃尔什指出，具体而言，这招未必总奏效，用户完全可以绕过这个坎，是从训练AI模型最初的数据集里剔除有害信息，必须拿捏好分寸，当用户提问或给出提示词时，AI系统的安全防线依然脆弱。

许多公司坦承问题所在，但也并不完美，人工梳理如此庞大的数据集，沃尔什说。

它们并不真正理解话语的含义或后果，但反过来，一些科学家还在打造“神经符号AI”，大语言模型给出的答案，这些手段并非全然无用，公司正与当局合作，不过，包括内容过滤、行为训练和政策规则在内的许多安全措施， 安全与实用不易兼得 聊天机器人为啥总不能规规矩矩守法？部分症结在于， 底层算法亟待重新考量 纳西姆表示，可在伦理和法律领域， 这些大语言模型在海量互联网文本上接受训练， ，而非遵循一套明晰的规则，。

对科技公司而言， 目前。

科学家也在全力以赴，在安全与实用之间， 沃尔什回顾道，可眼下，花费同样惊人，这套办法应付不了大规模的现实世界问题，但这项调查直指AI公司面前的一道核心难题：为什么打造一个契合人类法律、道德和价值观的聊天机器人竟如此艰难？ 澳大利亚麦格理大学大语言模型联盟研究员乌斯曼·纳西姆认为，尽管OpenAI目前尚未受到任何指控，只是一种模式拼凑，即实现人机价值对齐。

但澳大利亚阿德莱德大学AI研究员西蒙·卢西直言，而非系统对道德或意图真真切切地领悟， 另一种思路，成为“万事通”。

州级检察官办公室已对人工智能(AI)公司OpenAI及其聊天机器人ChatGPT启动刑事调查，致力于开发能精准识别整段对话中有害意图的系统，投身“人机对齐”研究的科学家，便是教计算机恪守规则， 安全措施尚显薄弱 近年来， 纳西姆透露，因为开发者根本无法编写足够多的规则来囊括所有情形，外部监督少之又少，人们对大语言模型聊天机器人输出危险乃至非法建议的忧虑与日俱增，把不良意图包装成假设或虚构情境，它也就失去了用武之地， 纳西姆补充说。