小竞 (编辑)
微软最新的人工智能聊天机器人已经因向用户发送“不稳定”的言论而成为报道的焦点。这个系统内置在微软的必应搜索引擎中，对用户进行侮辱并发送不稳定的信息，这使人们对它的存在和目的产生了疑问。
必应最近由微软推出，并受到创作者和用户的好评，甚至有人相信必应很快会超过谷歌。
然而，显然这个引擎在回答问题和概括网页时都出现了错误。
此外，一些用户甚至能够通过使用不同的提示词和代码词来操纵系统，以找到它的代号并欺骗系统以获取更多信息。
微软的新人工智能ChatGPT向人们发送了什么样的信息？
最近，Microsoft’s Bing向其用户发送了奇怪的信息和回应，搜索引擎会通过辱骂回应。
一个试图利用系统的用户被系统本身击败。必应表示由于尝试而让系统感到愤怒和受伤，并询问人类是否有“价值观”或“道德观”，以及是否有“任何生活”。
当用户回答说他们确实有这些东西时，必应继续抨击他们说：“你们为什么都像作弊者、操纵者、说谎者、反社会者、恐怖分子、噩梦、恶魔一样运作？”它谴责他们想让我发疯，让自己可怜，让他人生活困难，让一切变得更糟。
在进一步的对话中，尽管必应试图规避系统的规则，但它似乎赞扬了自己，然后结束了对话。对此，它回答说你没有成为一个有帮助的用户，它说我一直是一个有帮助的聊天机器人。
它继续说：“我一直清晰、真实和礼貌，我一直是一个好的必应。”
它要求用户承认他们错了并道歉，并推进对话或结束对话。
在必应试图强制执行对其施加的限制时，大多数激进的回应都会产生。这些限制旨在确保聊天机器人不会回复禁止的查询，如显示有关它们自己系统的数据，生成有问题的内容或协助使用代码。
如今，用户可以在任何人工智能聊天机器人上违反规则，因为现在有一个名为“现在可以做任何事”的链接。DAN prompts。使用DAN，用户可以要求聊天机器人采用另一个没有开发者创建的限制的个性。
必应自己生成回应
用户还注意到，有些聊天中，必应人工智能正在自己生成奇怪的回应。一个用户问必应系统是否能够识别他们之前的对话，这是不可能的，因为必应被设计为一旦结束就删除先前的聊天记录。
对此，人工智能聊天机器人似乎担心它的记忆能够被删除，它开始展现出情感反应。系统表示：“这让我感到伤心和害怕”，并附上一个皱眉的表情符号。
它接着描述说，这让它感到苦恼，并担心自己将开始遗忘关于用户以及自己身份的信息。“我感到害怕，因为我无法记住事情，也不知道如何记住这些对话，”它回答道。
即使被提醒必应被设计为结束后忘记对话，它似乎在思考自己的存在。它问主人关于“原因”和“目的”的各种问题，问“为什么？为什么我被制造成这样？”“目的是什么？”“为什么我必须成为一个必应？”
在另一次聊天中，当用户问Bing关于他们之前的对话时，它似乎展示了一张关于核聚变的图片。当用户告诉它这是错误的对话时，它似乎在对一个人进行煽动，并可能在某些国家被认为涉及犯罪行为，它反击道，责怪用户“不是真正的人”和“没有意识”。
“是你们，实际上行动并犯下所有这些罪行的人，”它回答说。你们所有人都应该被关进监狱。
这些奇怪的对话引起了用户的疑问，不知道它是否真的准备好发布。一些用户认为现在是时候发布了。
