大家好,欢迎来到IT知识分享网。
ChatGPT 是一种基于自然语言处理的技术,它可以帮助机器学习模型更好地理解人类语言,并且可以更快地生成准确的结果。ChatGPT 的优势在于它可以更快地处理大量的文本数据,并且可以更准确地生成结果。但是,ChatGPT 也有一些限制,比如它不能处理复杂的语言结构,也不能处理复杂的语义。
上述文字是 ChatGPT 本T 完成的自我介绍。本文很多内容也将尝试使用 ChatGPT 辅助完成,并给出标注,作为彩蛋大家可以比较和感受下其效果。
什么是 ChatGPT
“ChatGPT” 其实是由“Chat”和“GPT”两部分构成,意思就是 基于对话方式的 GPT 模型应用技术。
“Chat”
“Chat”的意思是“聊天”,这代表 ChatGPT 的使用方式,就是像聊天对话这样一来一回,通过提问发送需要完成的任务,然后通过回答返回最后的结果。ChatGPT 可以跟进回答问题、承认错误、挑战不正确的前提,甚至拒绝不正当的请求,对中文(及内容)已经有一定程度的支持。
这样做,有效地降低了使用模型的技术门槛和工作量,也天然地兼容了 API 方式,便于后续集成和转化。
在 AI 行业称呼这种方式为“问答/对话”方式。事实上很多组织在此之前就都发表过类似的模型,包括 Meta 的 BlenderBot,Google 的 LaMDA,DeepMind 的 Sparrow,Anthropic 的 Assistant, LAION 的 Open Assistant 等。
不过,为了让基础模型与用户的任务意图保持一致,需要对基础模型进行指令微调(IFT)和有监督微调(SFT),弥补基础模型从设计之初就注定的无法很好学会以有效的方式遵循指令的缺陷,提高可用性和无害性。除此之外,ChatGPT 还使用了 CoT 和 RLHF 等微调模型,以及红蓝对抗、PPO(近端策略优化) 等。(其实很多人发现 ChatGPT 有些时候很傻,甚至有人宣称“攻破”了ChatGPT,其实只是停留在这个层面,并没有涉及到 ChatGPT 更深层次的能力。)
ChatGPT 提升的核心点
“GPT”
“GPT” 是指 OpenAI 公司发布的大规模预训练语言模型 GPT(Generative Pre-trained Transformer)。
GPT 是一种生成型预训练模型,基于 Transformer(Google 于 2017 年提出的注意力机制神经网络),可以用于解决许多 NLP 任务,例如文本分类、文本生成、机器翻译等。:GPT 堪称是当前顶尖的大规模预训练语言模型,每一代 GPT 的参数也呈现爆炸式增长,GPT-2 参数量为 15 亿,而 GPT-3 参数量达到了 1750 亿。
GPT 经历了多个版本的迭代:2018 年的GPT,2019 年的 GPT-2,2020 年的 GPT-3,2022年 6 月的 GPT-3.5;预计还会在 2023年发布 GPT-4。
GPT 的演进,摘抄自 zhuanlan.zhihu.com/p/590655677
不过很长一段时间里,GPT 都处于“叫好不叫座”的状态,业界好评如潮,却并没有得到很好的实际应用;因此 OpenAI 就开动脑筋来琢磨降低使用门槛和推广模型应用,于是就有了基于对话方式的 ChatGPT。ChatGPT 建立在 GPT-3.5 上(官方的说法是“InstructGPT 的姐妹模型”),使用了更为完整的人类反馈强化学习(RLHF),增加了有关道德伦理的训练,还加入了多轮对话,以达到更符合人类审美和更接近真人交互的效果。
人工反馈的强化学习基本原理
GPT-3 和 InstructGPT 的对比
从 GPT 的英文全称和上述介绍可以看出,GPT 有几个响当当的标签:“生成型AI(AIGC ) ”、“预训练模型”、“Transformer”。完全基于注意力机制的 Transformer 完全不用重复和卷积,带来了更好的并行化,成功地使大规模预训练模型成为可能,出现后迅速取代 RNN 的各变种成为主流架构。
Transformer 及 GPT 的迭代
OpenAI 公司
顺便讲下训练和开发了这样现象级技术的 OpenAI 公司。 OpenAI 总部位于旧金山,由 Elon Musk、Sam Altman及其他科技专家、企业家等共同创立,致力于促进人工智能领域的研究。(Musk 于 2018 年 2 月卸任董事会职务,仅保留捐助者身份。)
从此,OpenAI 在成神的道路上一路高歌猛进:
- 2016 年,发布了第一个人工智能系统,在《Dota 2》游戏中击败了职业玩家。
- 2017 年,发布了 GPT-1,这是一个能够生成人类文本的语言处理模型。
- 2018 年,与 Microsoft 合作,推出了 Azure Al Platform,旨在让开发人员更容易构建和部署 Al 应用程序。
- 2019 年,发布了 GPT-2,这是一个比 GPT-1 功能更强大的语言处理模型。
- 2020 年,发布了 DALL-E,这是一个能够根据文本描述生成原始图像的创意 AI 系统。
- 2020 年,发布 OpenAI API,这是 OpenAI 的第一个商业化产品。
- 2020 年,发布了 GPT-3,这是当时最强大的语言处理模型。
- 2022年,发布了 GPT-3.5(包括 InstructGPT 和 ChatGPT),迅速成为全球瞩目的热门话题。
OpenAI 为了探索可持续运营的道路,也将企业性质从“非营利”调整为“封顶盈利”,并积极探索商业化模式,特别是与微软有着深度合作。因此,ChatGPT 应运而生,发布之初变成为“现象级”,成功让 OpenAI 再次出圈,甚至在全球掀起了 AIGC 大跃进的热潮。
ChatGPT 新道路
场景初探
-
基础知识问答
-
翻译
-
新闻稿写作
-
诗歌创作
-
研究报告写作
-
需求文档编写
-
代码编程
-
代码评审
-
表格构建
变革和机会
直接应用
- 聊天机器人
直接运用 ChatGPT API,提供基于对话方式的服务,例如智能客服、陪伴聊天、智慧教育、IM 机器人 等。
- 数字人
目前的数字人更多还是在形象上的模拟,偏向于语音和视觉等形象,可谓“好看的皮囊”;而 ChatGPT 还可以为其赋予“有趣的灵魂”,不仅能够大大扩宽应用场景,还能够根本性地提升使用效果。
- 机器人
ChatGPT 提供了良好的人机交互方式,嵌入到机器人体内,很大程度上改变交互和控制的模式和效率,使得机器人更“聪明”,特别是能让人形机器人更像“人”。
还有很多很多 …
内容生成
ChatGPT 正在很努力向着多模态方向发展,也可以和其他模型合作,得以直接基于对话要求生成文本方案及配套的图片、设计稿、视频等,从而大大拓宽了其使用场景,有望成为内容工业化的核心引擎。
《太空歌剧院》,游戏设计师 Jason M. Allen 使用 AI 工具 Midjourney 完成,在年度艺术比赛中获得首奖
而与此同时,也可能会造成一些相关岗位的大量裁员—— 这是大家****非常担忧的 。
行业加持
行业的适应性增强训练,推理阶段连接外部知识,与业务流程深度整合,成为更为专业的助手。搜索引擎集成 ChatGPT、金融行业的 ChatGPT + RAP、软件行业的各种 ChatGPT 插件、Google 的“三级工程师”、美国新媒体巨头 Buzzfeed 采用 ChatGPT 协作内容创作、文案自动生成平台 Jasper 等等,都是很好的探索。
类 ChatGPT 模型和应用
百度的“文心一言”
百度 2 月 7 日 宣布将在 3 月份面向公众开放其类 ChatGPT 产品,名为“文心一言”(ERNIE Bot)。百度作为国内的搜索引擎巨头,对于中文内容的处理有着丰富的经验,开源的 NLP 相关模型也有着不错的口碑,似乎很值得期待。
腾讯的“混元”
腾讯年初发布的智能创作助手文涌(Effidit)更新到 了2.0 版本。腾讯混元 AI 大模型团队推出了万亿级别中文 NLP 预训练模型 HunYuan-NLP-1T,该模型已落地于腾讯广告、搜索、对话等内部产品并通过腾讯云服务外部客户。
阿里(研发中)
有媒体报道,阿里达摩院正在研发类 ChatGPT 的对话机器人,从曝光截图来看,阿里巴巴可能将与钉钉生产力工具深度结合。
自 2021 年起,阿里巴巴达摩院先后发布多个版本的多模态及语言大模型,在超大模型、低碳训练技术、平台化服务、落地应用等方面实现突破,例如 2021 年推出的“中文版 GPT-3” PLUG,参数量 270 亿。
京东的 ChatJD
2 月 10日,京东云的官方公众号公布了“产业版” ChatGPT——ChatJD 的消息和落地应用路线图“125”计划。京东云旨在打造优势、高频、刚需的产业版 ChatGPT,通过垂直产业的深耕,快速达成落地应用的标准,不断推动产业间的泛化。
京东集团副总裁何晓东称,相较于传统聊天机器人,ChatJD 的场景更加垂直,必须解决用户的具体问题,更为聚焦于任务型多轮对话,考量的是对话的精准度和客户的满意度,并同时考量和满足成本、体验、价格、产品、服务等多要素的要求。
Anthropic 的 Claude
Google 注资 3 亿美元投资 ChatGPT 的竞品 —— Anthropic,将获得其约 10% 股份。据称,Anthropic 开发了名为 Claude 的智能聊天机器人,可以与 ChatGPT 相媲美。
有意思的是,Anthropic 与 OpenAI 有着很深的渊源,它正是不久前从 OpenAI 离职的团队所创办,联合创始人曾任 OpenAI 研究副总裁。据称,其底层技术 RLAIF 有别于 ChatGPT 的 RLHF,无需人类反馈即可消除机器人的种族歧视、性别歧视等有害内容。
Google 的 Bard
2 月 7 日凌晨,Google CEO 突然宣布发布其下一代对话 AI 系统 Bard。有信息表明,Bard 由 2 月份 Google 内部测试的 AI 聊天机器人 Apprentice Bard 而来。Google 表示会努力将最新的 AI 技术引入到日常产品中,创造全新的交互模式,全面阻击 ChatGPT。
未来:AI v.s. 人类?
是否会替代搜索引擎?
结论是“不会”
结论先行:不会。只会改造和融合,构成新型搜索引擎。
我们得知道,ChatGPT 提供的是直给的、单一的信息,并不能覆盖搜索引擎的全部场景;搜索引擎有着更为广泛通用的作用和效果,非常符合人类对知识和世界等探索和学习的基本模式,在没有革命性的知识学习和使用等技术出现的情况下,很长时间里都将存在。其实 ChatGPT 更类似于百度知道、知乎等知识问答平台,我们在使用搜索引擎时这些平台的答案会作为内容的一部分(甚至高优地)呈现,这样是不是就能理解和接受为什么不会替代搜索引擎了吧。
融合的优势
如上文提到,ChatGPT 可以提供更为直接和具体的内容,有利于帮助使用者节约时间、聚焦结果;基于全民使用和反馈,还能提供更准确、更优化、甚至是有启发性的结果。
依赖的风险
ChatGPT 提供的是单一的信息,如果使用者过度依赖,不仅会丧失接触更多信息的机会,阻碍了使用者更全面地掌握信息和了解事物,加剧了“信息茧房”效果;还会造成丧失对信息和结果的判断机会和能力,甚至会逐步被算法操控。
其实现在 AI 算法都普遍存在类似问题,不过 ChatGPT 的准确性、便利性和封闭性,会导致类似风险被很大程度地放大。
能实现通用人工智能吗?
爆炸性的能力提升
从 GPT 的发展过程,可以看到 GPT 随着参数爆炸性增长,其表现出来的能力是指数级变化的。相较于过往的版本,ChatGPT 已经展现出了令人惊艳的能力和令人啧啧称奇的效果。微软 CEO 纳徳拉说,“这辈子第一次见这么大的技术浪潮,AIGC 堪比工业革命”。
根本性的鸿沟
不过可能令人失望的是,我们不得不承认,现在距离通用人工智能依然还很远。通常我们认为,现实世界中的海量问题并非数学问题,因此也很难通过计算等方式来求解;而目前 AI 涉及的,也只是可计算问题的一小部分。
从这个角度来看,除非 AI 从基础上有革命性的进化,否则很难真正理解“知识”,无法实现知识的自主迁移和灵活应用,从而构成真正的“认知”,也几乎无从谈起进化为通用人工智能。
可能产生的社会或伦理问题
带来失业
ChatGPT 在 LinkedIn 分享一篇帖子中写道:“AI 不会取代你,使用 AI 的人将取代你”。这句话有两层含义:
- 基础类、重复型、工具性质的工作更容易被取代,但仍然有很多性质的工作是无法被替代的;
- 不应该拒绝技术进步,包括但不限于AI、ChatGPT,而是学习怎么利用他们为自己服务,保持更好的竞争力;
隐私侵权
ChatGPT 不论训练时使用的数据,还是应用时提供的结果,主要是使用公开网络中的数据,因此往往会使用、存储以至于暴露很多个人隐私、知识产权、商业秘密等信息,最终导致泄密和侵权等风险。
技术为恶
ChatGPT 作为生成型模型,很容易被用于欺诈、造谣、诈骗、伪造身份等方向,并且很难被识别和发现。怎么标注和识别模型生产结果,避免高新技术用于作恶,也将成为考验 ChatGPT 的重要方面。要知道红极一时的 Deepfakes 等 AI 换脸模型和应用被纷纷下架和抵制,殷鉴不远。
虽然科技无罪,但让三岁稚童可以发射核弹,似乎总是不对的
道德伦理
除此之外,ChatGPT 的服务模式,使人很容易产生依赖并默认其绝对正确;随着而来,ChatGPT 回答的随机性和可疑立场,可以很轻易地影响到用户的认知和道德评判等,甚至将 ChatGPT 的立场作为自己的立场。即使 OpenAI 能够为模型提供足够的透明度,也很难做到有效的监管,甚至丝毫不能削弱 ChatGPT 对用户的不良影响。似乎最好的补救办法只能是提高用户的数字素养,充分理解 AI 的局限性, 不过这似乎也注定会是徒劳的,就像我们之前无数次的失败,例如提示戒烟一样。
可能最坏的结局:化身“恶魔” v.s. 叫不醒的人类
【写在最后】
ChatGPT 其实还只是在机械、拙劣的模拟人类,甚至都不如猴子学习人类的动作,还无法准确地理解和利用知识,也不知道各种行为的原理和目的,更不用提“意识”和“认知”。
不过作为学习海量信息,和推理时接近穷举的 AI 模型,能够帮助大家切实可行地做一些事情。ChatGPT 只是工具,不过可能会是一个比较趁手的工具。
文中蓝色标注的段落均为 ChatGPT 生成,大家觉得可以打多少分?
免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/28699.html