Meta近来发布了其Meta练习和推理加速器（MTIA）的下一代产品的细节。该芯片是专为优化公司AI作业负载而规划的定制芯片系列，最新版别在功用方面较其前身MTIA v1有了明显改善，并在为Meta的广告排名和引荐模型供给动力方面发挥着重要作用。

　　新的MTIA芯片是Meta在AI基础设施方面一向添加的出资的一部分。跟着AI模型的核算需求跟着其复杂性的添加而添加，Meta认识到开发高效且可扩展解决方案的重要性，以支撑生成式AI产品、引荐体系和先进AI研讨。

　　在技能层面上，新的MTIA芯片具有一个由8x8处理元素（PE）组成的网格，这在密布核算功用和稀少核算功用方面供给了明显的进步。该芯片的架构专心于完成核算、内存带宽和内存容量的最佳平衡，以高效地服务于排名和引荐模型。

　　Meta还开发了一个大型机架式体系，能够包容多达72个加速器，以支撑下一代硅。该体系模块规划为将芯片时钟频率进步到1.35GHz，并在90瓦特下运转，保证比第一代规划具有更高的核算、内存带宽和内存容量的更密布功用。

　　自其对MTIA的出资开端以来，软件一向是Meta重视的要害范畴。MTIA仓库旨在彻底集成到PyTorch 2.0中，并具有TorchDynamo和TorchInductor等功用。Meta还经过创立Triton-MTIA编译器后端优化了软件仓库，以进步研制人员生产力。

　　前期的依据成果得出，下一代MTIA硅在评价的四个要害模型方面比第一代芯片的功用进步了3x。在渠道级别上，经过双倍数量的设备和强壮的双插槽CPU，Meta完成了比第一代MTIA体系高出6x的模型服务吞吐量和高出1.5x的每瓦功用。

　　MTIA现已布置在Meta的数据中心中，而且正在积极地为生产中的模型供给服务。该芯片被证明在为Meta特定的作业负载供给功用和功率的最佳组合方面与商业上可用的GPU高度互补。作为Meta长时间路线图的一部分，MTIA将继续发展和扩展以支撑公司的雄心壮志的AI方针。