万亿规模的大模型训练有哪些难点？

都说大模型训练很难，动辄耗费巨额资金和算力，万亿规模的大模型训练起来更是难上加难。但是了解这些难点，不仅可以帮助我们更好地理解大模型背后的技术挑战，也能让我们更加理性地看待大模型发展趋势，避免盲目追捧。