采用紧凑的TOON格式存储数据与上下文,以优化令牌使用。

安装

概览

什么是TOON

TOON(Token-Oriented Object Notation)是一种专为大型语言模型(LLM)优化的轻量级数据格式,旨在显著减少令牌使用量,同时保持与JSON完全兼容的数据表达能力。它通过简洁的缩进结构、最小化引号使用和显式数组长度声明,实现了约40%的令牌压缩效率提升。TOON采用类似YAML的缩进语法替代花括号和方括号进行嵌套,使数据结构更直观且易于人类阅读。其设计核心在于为AI代理提供一种高效存储和传输上下文信息的机制,尤其适合在有限的上下文窗口内承载更多结构化内容。TOON不仅支持常规键值对,还引入了表格化数组格式,允许将多个对象以CSV风格组织,进一步提升密集数据的表达密度。该格式强制使用UTF-8编码,确保全球字符集兼容性,适用于多语言场景下的日志记录、任务规划与长期记忆管理。作为一种无损替换方案,TOON可直接嵌入现有JSON工作流,无需改变底层逻辑即可实现性能优化。

核心功能特点

  1. 采用2空格缩进替代花括号与方括号,提升可读性与解析效率
  2. 支持最小化引号规则,仅在必要时添加引号以避免冗余
  3. 引入显式数组长度声明(如friends[3]),增强语义清晰度
  4. 支持表格化数组格式,用单行字段名定义后接逗号分隔的值行
  5. 实现约40%的令牌压缩率,显著节省LLM上下文空间
  6. 完全兼容UTF-8编码,适用于国际化数据处理场景

适用场景

TOON特别适合需要频繁处理大量结构化数据但受限于上下文长度的AI应用场景。例如,在构建智能代理系统时,代理需持续追踪用户目标、日程安排或交互历史,这些内容若以传统JSON格式存储会迅速耗尽上下文窗口。改用TOON可让同一窗口容纳更多关键信息,从而提升决策质量与响应准确性。在日志记录与知识管理中,TOON的紧凑特性使其成为长期数据存储的理想选择——无论是记录每日行为模式还是维护项目进度表,都能以更少的令牌占用换取更高的信息密度。此外,当系统需对复杂数据进行快速摘要或压缩时,TOON的格式化能力允许将冗长文本转化为高度结构化的条目,便于后续检索与分析。对于依赖外部工具链(如RAG系统或向量数据库)的应用而言,TOON还能作为中间表示层,在保持数据完整性的前提下降低传输开销。总之,任何涉及高频读写、上下文敏感或多轮对话优化的智能系统均可从TOON的高效格式中获益。