转载请注明出处: CHATWEB
本文的链接地址: https://chatweb.com.cn/post-54.html
Anthropic API近日推出了提示缓存功能，开发人员现在可以在API调用之间缓存常用的上下文信息。通过提示缓存，客户能够为Claude模型提供更多的背景知识和示例输出，同时显著降低长提示的成本，减少高达90%的费用，降低高达85%的延迟。
该功能已在Claude3.5Sonnet和Claude3Haiku的公开测试版中可用，并计划在未来支持Claude3Opus。
提示缓存功能特别适用于以下场景：当需要在多次请求中反复引用大量提示上下文时，例如在对话代理中减少长对话的成本和延迟，特别是在包含复杂指令或文档上传的情况下；编码助手可以通过在提示中保留代码库的汇总版本来改进自动完成和代码库问答；处理大型文档时，提示缓存能够嵌入完整的长篇材料而不会增加响应时间；此外，对于涉及多轮工具调用和迭代更改的代理搜索和工具使用场景，提示缓存也能显著提升性能。
提示缓存的定价取决于缓存的输入令牌数量以及使用频率。写入缓存的成本比基本输入令牌价格高出25%，而使用缓存内容的成本则大幅降低，仅为基本输入令牌价格的10%。
据报道，Notion作为Anthropic API的客户，已将提示缓存功能集成到其人工智能助手Notion AI中。通过降低成本和提高速度，Notion优化了内部运营，并为用户带来了更高级、更快速的体验。
文章发布于: 2024-08-15 10:03:00
您可能对以下文章感兴趣
字节跳动旗下剪映团队研发的一站式AI创作平台“即梦AI” 提供AI图片
08/06"Meta开源大模型Llama 3强势崛起！超越GPT-4，苹果AI新服务也备受期待"
08/09爱诗科技推出PixVerse V2.5：视频生成速度提升200%，全新高表现模式与运镜功能，
08/22蚂蚁集团新公司“数字蚂力”推出AI人机融合解决方案，助力企业实现数字化转型和智能化升级！
08/17秘塔科技获新一轮巨额融资，估值达1.5亿美元，引领AI搜索市场新潮流！
08/11“ChatGPT式胡说八道”引发关注：准确性漠视挑战公共服务人员，法律责任成难题
08/12"Midjourney升级网页版编辑器，应对AI绘图市场竞争挑战"
08/16从文本到图像的革新：跨模态AR模型Lumina-mGPT实现图像生成的新突破
08/16"ChatGPT Mac版新功能：并排窗口提升多任务处理，水印技术提高AI生成内容辨识度"
08/08微软 Copilot AI 被揭示存在严重安全漏洞：攻击者能窃取敏感数据！
08/11谷歌采取行动遏制非自愿深度伪造，网络安全再升级
08/06Tavus团队打造AI聊天机器人：超越人性的沟通体验"
08/17
发表评论
取消回复
AI资讯