OpenAI开发者大会派礼包：大幅降低模型成本，AI语音加持App，小模型“蹭”大模型性能

OpenAI推出的提示词缓存可减少输入token成本多达50%；视觉微调能用图像和文本自定义模型的视觉理解功能；实时 API让开发者将ChatGPT的语音控件添加到App中；模型蒸馏让开发者能利用GPT-4o等尖端模型的输出提高GPT-4o mini等小模型的性能。

从披露的数据来看，我们可以认为Scaling Law有效，不过这次不是堆数据而是堆机器和优化算法。那不管多贵，都意味着这个行业解决问题的价值在增加，所以这个行业安全了。但很多AI大模型公司是真的危险了，因为下一步跟进的成本越来越贵。

OpenAI科学家Noam Brown提出了一个震惊的理论：让AI模型思考20秒带来的性能提升，相当于将模型扩大10万倍并训练10万倍的时间。其中，“系统二思维”是让AI模型性能大幅提升的关键所在，能通过自我对弈等强化学习训练方式提升推理能力。

智东西7月17日消息，昨日据VentureBeat报道，法国AI创企Mistral AI近日推出了两款新AI模型，一个是面向程序员和开发人员的代码生成模型Codestral Mamba 7B，另一个是专为数学相关推理和科学发现而设计的AI模型Mathstral 7B。 Codestral Mamba 7B具有更快的推理速度和更长的上下文，即使在输入文本较长的情况下也能提供快速响应时间。同时，该模型可处理多达256000个token的输入......

Llama 3.1-405B版本性能极强、参数巨大，普通的GPU无法带动，因此个人开发者可能无法担负。有网友“泼冷水”，认为该模型推理成本提升了3倍，但编码的性能却要差很多。

GPT-4o mini成本比GPT-3.5 Turbo便宜超过60%，聊天表现优于Google的Gemini Flash和Anthropic的Claude Haiku。该模型从周四起向ChatGPT的免费用户、ChatGPT Plus和团队订阅用户开放，并将在下周向ChatGPT企业用户开放。OpenAI计划今后整合图像、视频、音频到这个模型中。