当前位置： 系统之家 > 电脑教程 > IT资讯 > Meta 推出 AI 语言模型 LLaMA，一个有着 650 亿参数的大型语言模型

Meta 推出 AI 语言模型 LLaMA，一个有着 650 亿参数的大型语言模型

时间：2023-02-26 10:16:44

作者：admin

来源：系统之家

2 月 25 日消息，meta 在当地时间周五宣布，它将推出一种针对研究社区的基于人工智能 (AI) 的新型大型语言模型，与微软、谷歌等一众受到 ChatGPT 刺激的公司一同加入人工智能竞赛。

meta 的 LLaMA 是“大型语言模型 meta AI” (Large Language Model meta AI)的缩写，它可以在非商业许可下提供给政府、社区和学术界的研究人员和实体工作者。

该公司将提供底层代码供用户使用，因此用户可以自行调整模型，并将其用于与研究相关的用例。meta 表示，该模型对算力的要求“低得多”。

据介绍，该公司正在开发多种参数(7B、13B、33B 和 65B)的 LLaMA。其中，LLaMA 65B 和 LLaMA 33B 在 1.4 万亿个 tokens 上训练，而最小的模型 LLaMA 7B 也经过了 1 万亿个 tokens 的训练。

与其他大型语言模型一样，LLaMA 的工作原理是将一系列单词作为“输入”并预测下一个单词以递归生成文本。为了这套模型，meta 从使用人数最多的 20 种语言中选择文本进行训练，重点是拉丁语和西里尔字母。

当然，与其他模型一样，LLaMA 也面临着偏见、有毒评论和幻觉的挑战，meta 还需要做更多的研究来解决这类语言模型中的不足。

meta 表示，LLaMA 作为一个基础模型被设计成多功能的，可以应用于许多不同的用例，而不是为特定任务设计的微调模型。通过开源 LLaMA 的代码，其他研究人员可以更轻松地找到限制或消除这些问题的新方法。meta 还在本文中提供了一组评估模型偏差和毒性的基准评估标准，以显示模型的局限性并支持研究人员在这一关键领域的进一步研究。

[img]

值得一提的是，meta 在去年 5 月也曾推出过大型语言模型 OPT-175B。该项目同样也是针对研究人员的，这构成了其聊天机器人 blenterbot 新迭代的基础。

后来，该公司还推出了一款名为“卡拉狄加”(Galactica) 的模型，据称它可以撰写科学文章和解决数学问题，但其演示版本后来被下架，因为它反复生成“听起来很权威”的内容。

相关文章

系统下载排行榜71011xp

1

萝卜家园Win7 sp1 64位旗舰版 V2021.05

 2

系统之家Win7 64位纯净版ISO镜像下载V2024

 3

【系统之家】Windows7 64位 官方专业版

 4

【低配首选】深度技术 Ghost Win7 SP1 32位 旗舰精简版

 5

深度纯净版win7旗舰版镜像(支持USB3.0)

 6

系统之家 Ghost Win7 极限精简版 V2024

 7

深度技术 Win7 64位精品旗舰版(带USB3.0/3.1驱动,新电脑) V2024

 8

深度Ghost Win7纯净版（新机型新技术）镜像V2024

 9

Win7系统 64位旗舰版(新机型+深度优化) V2024

 10

系统之家Win7系统64位旗舰版(专业优化+新机型USB3.0支持)
1

【干净不带软件】Windows10 22H2 64位 纯净专业版

 2

【系统之家】Windows10 22H2 64位 游戏优化版

 3

【高性能系统】Windows10 22H2 64位 纯净专业工作站版

 4

【高性能系统】Windows10 22H2 64位 专业工作站版

5

【适合家庭/个人】Windows10 22H2 64位 家庭中文版

 6

【长期支持】Windows10 64位 企业版LTSC 2021

 7

【深度技术】Windows10 64位 专业精简版

 8

【惠普通用】HP Windows10 64位 专业装机版

9

【适合家庭/个人】Windows10 22H2 64位 家庭纯净版

 10

【联想通用】Lenovo Windows10 64位 专业装机版
1

【干净无捆绑】真正纯净版的Win11 64位 专业版系统

 2

【娱乐专属】Windows11 22H2 64位 电竞游戏版

 3

不忘初心Win11 22H2 X64无更新纯净精简版 V2023

 4

Windows11 23H2 64位 专业纯净版镜像

 5

【新机预装系统】Windows11 23H2 64位 高级中文家庭版

 6

系统之家Ghost Win11中文专业版 V2023

 7

系统之家Win11纯净版精简镜像

 8

Win11 22H2(22621.819) 11月更新 V2022

 9

戴尔笔记本 Win11 64位 最新正式版 V2023

 10

系统之家 Ghost Win11 64位 精简纯净版 V2023
1

系统之家Ghost WinXP SP3专业版 V2021.10

 2

番茄花园Ghost XP Sp3纯净版 V2021.08

 3

深度技术Windows XP SP3 经典专业版 V2021.06

 4

电脑公司 Windows XP 经典版 V2021.04

 5

风林火山WindowsXP Sp3专业版 V2022.01

 6

萝卜家园 Windows Sp3 XP 经典版 V2021.04

 7

番茄花园WindowsXP Sp3专业版 V2021.06

 8

技术员联盟 Ghost WinXP SP3 精简版 V2021.12

 9

萝卜家园WindowsXP Sp3专业版 V2021.05

 10

深度技术GHOST XP SP3 通用装机版 V2021.04

装机必备 更多+

重装教程 更多+

1

怎么用U盘重装系统Win7-使用U盘重装系统Win7详细教程

 2

怎么用U盘重装系统Win10-使用U盘重装系统Win10详细教程

 3

怎么用U盘重装系统Win11-使用U盘重装系统Win11详细教程

 4

怎么硬盘安装win10系统？硬盘安装win10系统教程

 5

win11系统怎么硬盘安装？Win11硬盘安装方法介绍

电脑教程专题 更多+

提取码
XGZS
关闭 前往下载
软件发布| Tag标签| 版权声明| 网站地图

本站所有资源均转载自各大软件下载站，或由软件厂商投稿发布，用户应在授权范围内使用，不得用于任何商业用途。

如有侵权请联系我们删除下架，对Win10系统之家有任何投诉或建议，请发送至管理员邮箱：windowskefu01@163.com

Copyright©系统之家 桂ICP备2023006351号