近日，semianalysis分析师带来了更多关于谷歌多模态和高效机器学习工具gemini的爆料。
据透露，初代的gemini应该是在tpuv4上训练的，并且这些pod并没有集成最大的芯片数4096个芯片，而是使用了较少的芯片数量，以保证芯片的可靠性和热插拔。
如果所有14个pod都在合理的掩模场利用率(mfu)下使用了约100天，那么训练gemini的硬件flops将超过1e26。
gemini已开始在新的tpuv5pod上进行训练，算力高达1e26flops，比训练gpt-4的算力还要大5倍。另外，gemini的训练数据库为youtube上93.6亿分钟的视频字幕，总数据集大小约为gpt-4的两倍。
