IBM 开源其 Granite AI 模型
Lasted 2024-05-14 14:03:20
IBM 使用来自 GitHub Code Clean、Starcoder 数据、公共代码库和 GitHub 问题等公开数据集的预训练数据来开源 Granite 代码库。总的来说,IBM 努力避免版权或法律问题。Granite 代码库模型是在 3 到 4 TB 的代码数据和与代码相关的自然语言数据集上训练的。所有这些模型都采用 Apache 2.0 许可,可用于研究和商业用途。正是因为“商业”这一点,其他主要的大型语言模型 (LLM) 并没有开源。没有公司愿意分享他们的 LLM 成果。
然而,正如 IBM 研究院首席科学家鲁奇尔·普里 (Ruchir Puri) 所说:“我们通过发布性能最高、成本效益最优的代码生成模型,改变了软件生成式人工智能的格局,让开放社区能够自由创新。”虽然这些模型的使用没有限制,但具体应用是经过深思熟虑的。正如 IBM 生态系统总经理凯特·伍利 (Kate Woolley) 去年所说,Granite 模型并不是“试图满足所有人的所有需求”。它不会为你的宠物写诗。这是一个经过精心设计的模型,可以进行调整,非常针对企业的业务用例,特别是编程相关的任务。
这些纯解码器模型是在 116 种编程语言的代码上训练的,参数范围从 30 亿到 340 亿。它们支持各种开发者的需求,从复杂的应用现代化到内存受限的设备任务。IBM 已经在内部将这些 LLM 用于 IBM Watsonx Code Assistant (WCA) 产品,例如用于 IT 自动化的 WCA for Ansible Lightspeed 和用于 COBOL 应用程序现代化的 WCA for IBM Z。虽然不是每个人都能买得起 Watsonx,但现在,任何人都可以通过 IBM 和红帽的 InstructLab 使用 Granite LLM。