参数计算
#misc
1G ~ 1e3M ~1e6K ~ 1e9B GPT-3 175B float32 - 4Byte 模型参数需要 175B * 4 Bytes = 700 * 1e9 Bytes ~ 700G Adam * 2 ~ 1400G 还有 Cache
1G ~ 1e3M ~1e6K ~ 1e9B GPT-3 175B float32 - 4Byte 模型参数需要 175B * 4 Bytes = 700 * 1e9 Bytes ~ 700G Adam * 2 ~ 1400G 还有 Cache