随着AI运算要求越来越快，能源也成为值得担忧的议题。虽然Open AI的GPT-5尚未发布，但目前有消息称OpenAI似乎已着手训练GPT-6，而外传7月发布Llama 3的Meta，也有望提早至6月推出。
AI创业公司OpenPipe联合创办人Kyle Corbitt在社交媒体平台X上分享，GPT-5有望4月下旬发布，Meta Llama 3则是6月发布，以打败另一家法国小创业公司Mistral。
GPT-5 AND LLAMA 3 TIMELINE LEAKS
Highest confidence rumors I've heard are late April for GPT-5 and early June for Llama 3 (expected to beat Mistral at all sizes).
Anyone hear something different? Reply in thread to confirm.
— Kyle Corbitt (@corbtt)March 25, 2024
接着Corbitt发布另篇文章，表示与微软工程师讨论有关GPT-6的训练集群项目及在新版本中遇到的问题。该位工程师抱怨对不同区域的GPU之间无限级别连接（infiniband- class links），实在非常痛苦。
Corbitt续问「为何不将训练集群集中同一个区域？」对方回应有尝试过，但无法在同一州（a single state）下放至超过10万片p00 GPU，否则会导致电网瘫痪。
Spoke to a Microsoft engineer on the GPT-6 training cluster project. He kvetched about the pain they're having provisioning infiniband- class links between GPUs in different regions.
Me: 「why not just colocate the cluster in one region?"
Him: 「Oh yeah we tried that first. We…
— Kyle Corbitt (@corbtt)March 25, 2024
目前不确定微软工程师所提到的a single state是指同一州，还是指同一个状态，但据市调机构Factorial Funds报告显示，OpenAI的文本生成视频模型Sora一个月内使用4,200至10,500片p00 GPU，其中单个p00能在约12分钟内生成一个一分钟视频，或者每小时约5个一分钟视频。而在Sora高峰时期需要72万个p00 GPU。换言之，Sora高峰时期如果训练集群摆放在同个位置，可能是七个州的电网崩溃。
Corbitt指出，不确定新GPT版本叫GPT-5、GPT-4.5还是带企业扩展的GPT-4J。但不可否认的是，越强大的AI出来，开发这些模型的成本也就越来越高，面临的环境问题也越大。
Open AI刚刚免费发布GPT-4 Turbo，目前已知GPT-5计划今年稍晚时发布。
（首图来源：shutterstock）
