英特尔9日举办Intel Vision 2024.会中推出新一代AI芯片 Gaudi 3.与英伟达H100芯片相比,推论平均表现高出50%,能源效率也提升40%,且成本较英伟达H100低。
英特尔 Gaudi 3 前段由自家设计,后续委由世芯 - KY进行后端设计,并采台积电5 纳米制程与CoWoS 封装技术制造,预计本季就可以提供给HPE、联想和美超微等OEM厂商。
英特尔指出,Gaudi 3与前代产品相比,BF16的AI运算量将提高4倍,存储器带宽也提升1.5倍,可为大规模部署GenAI的全球企业,带来AI训练和推论重大飞跃。
以同样参数模型比较,英特尔指出,Gaudi 3与英伟达H100相比,在70亿和130亿个参数的Llama2模型以及GPT-3 1750亿个参数模型中,平均训练时间缩短50%,推理吞吐量也高出50%,尤其在Llama 70亿个和700亿个参数模型以及Falcon1800亿个参数模型的平均推理能效将比H100高40%。
另外,英特尔也在此次 Vision 2024 揭露一套新的开放可扩展系统、下一代产品和战略合作关系,以加速企业采用生成式 AI。