作为合作的一部分，Groq和IBM计划将RedHat开源vLLM技术与Groq的LPU架构进行集成与增强。IBM还计划让其Granite模型在GroqCloud上运行，以供IBM客户使用。
企业将AI代理从试点推向生产时，仍然面临速度、成本和可靠性方面的挑战，这在医疗保健、金融、政府、零售和制造等关键领域尤为明显。此次合作结合了Groq的推理速度、成本效益以及对最新开源模型的访问能力，与IBM的自主AI编排技术，共同提供帮助企业实现规模化所需的基础设施。
GroqCloud由其定制LPU驱动，其推理速度比传统GPU系统快5倍以上，且成本效益更高。即使在全球化的工作负载下，也能实现持续的低延迟和可靠的性能。这对于受监管行业的自主AI代理尤其重要。
例如，IBM的医疗保健客户会同时收到数千个复杂的患者问询。借助Groq，IBM的AI代理可以实时分析信息并立即提供准确答案，从而提升客户体验，让组织能够做出更快速、更明智的决策。
该技术也正应用于非监管行业。IBM在零售和快速消费品领域的客户正在使用Groq来支持人力资源代理，以帮助增强人力资源流程的自动化并提高员工生产力。
IBM软件兼首席商务官Rob Thomas表示："许多大型企业在进行AI推理实验时有多种选择，但当他们想要投入生产时，必须确保能够成功部署复杂的工作流，以保证高质量的体验。我们与Groq的合作关系彰显了IBM致力于为客户提供最先进技术以实现AI部署并推动业务价值的承诺。"
Groq首席执行官兼创始人Jonathan Ross表示："凭借Groq的速度和IBM的企业专长，我们正在让自主AI代理成为企业的现实。我们共同使组织能够释放AI驱动响应的全部潜力，并获得规模化所需的性能。除了速度和韧性，此次合作关乎改变企业使用AI的方式，让他们充满信心地从实验阶段迈向全企业范围的采用，并为AI能够即时行动并持续学习的新模式打开大门。"
IBM将立即开始提供对GroqCloud功能的访问，双方联合团队将专注于为IBM客户交付以下能力：高速、高性能的推理，释放AI模型和自主AI代理的全部潜力，赋能客户关怀、员工支持和生产力提升等用例；专注于安全与隐私的AI部署，旨在支持最严格的监管和安全要求，实现复杂工作流的有效执行；与IBM的自主AI产品watsonx Orchestrate无缝集成，为客户提供灵活性，以采用针对不同用例量身定制的专用代理模式。
该合作还计划集成并增强RedHat开源vLLM技术与Groq的LPU架构，为开发人员在推理过程中面临的常见AI挑战提供不同的解决方法。该解决方案有望使watsonx能够以熟悉的方式利用这些能力，并让客户留在他们偏好的工具中，同时通过GroqCloud加速推理。此集成将满足AI开发者的关键需求，包括推理编排、负载均衡和硬件加速，最终简化推理过程。
IBM和Groq共同为企业提供了增强的途径，以获取快速、智能且为产生实际影响而构建的企业级AI的全部潜力。需要说明的是，关于IBM和Groq未来方向和意图的声明可能随时更改或撤销，并且仅代表目标和目的。
【关于IBM】
IBM是全球混合云与人工智能及咨询服务的领先提供商。我们帮助超过175个国家的客户从数据中获取洞察、简化业务流程、降低成本并在其行业中获得竞争优势。数以千计的政府机构和关键基础设施领域（如金融服务、电信和医疗保健）的企业依靠IBM的混合云平台和Red Hat OpenShift进行快速、高效和安全的数字化转型。IBM在AI、量子计算、行业特定云解决方案和咨询领域的突破性创新为客户提供了开放和灵活的选择。所有这些都得益于IBM对信任、透明、责任、包容和服务的长期承诺。
【关于Groq】
Groq是为AI提供所需速度和成本效益的推理基础设施提供商。公司成立于2016年，开发了LPU和GroqCloud，旨在使计算更快、更经济。如今，Groq受到全球超过200万开发者和团队的信任，并且是美国AI技术栈的核心组成部分之一。
