sense-music 是一个专为 AI 实体设计的音乐感知能力工具，它将音频分析提升为一种‘感官’——如同人类听觉一样，让机器能够真正‘听见’并理解音乐。与传统的音频处理工具不同，sense-music 不是流水线上的一个步骤，而是一种内在的感知能力，使系统能够在听到歌曲时识别节拍变化、调性转换、结构起伏以及歌词内容，从而更丰富地体验世界。该工具通过本地运行的方式提供隐私保护，无需 API 密钥或网络依赖，所有分析均在设备端完成。其核心功能包括对音频文件的节拍率（BPM）、调性和模式、歌曲结构分段、音乐风格分类、情绪状态判断，以及基于 Whisper 模型实现的歌词转录。此外，它还支持生成带有时间标记的可视化图表，如频谱图和波形图，帮助用户直观理解音乐的动态变化。无论是本地文件还是远程 URL，sense-music 都能快速解析并提供结构化输出，适用于多种音频格式，包括 MP3、WAV、FLAC、OGG 等。
核心功能特点
- 精准识别音频中的节拍率（BPM）和调性（如 C 大调、A 小调），并附带置信度评分
- 自动划分歌曲结构，标注 intro、verse、chorus、bridge、outro 和 instrumental 等段落及其时间戳
- 结合机器学习模型对音乐进行风格分类（如电子、摇滚、流行）和情绪标签识别（如 energetic、calm、bright）
- 利用 Whisper 模型实现高精度歌词转录，支持多种模型尺寸以适应不同精度需求
- 生成带注释的频谱图和波形图可视化图像，清晰展示能量曲线与结构分割
- 支持导出 JSON、HTML 或图片文件，便于分享、存档或进一步处理分析结果
适用场景
sense-music 特别适用于需要深度理解音乐内容的智能系统或创意应用。例如，在个性化推荐系统中，它可以分析用户播放列表中的节奏变化与情绪走向，从而构建更细腻的音乐偏好模型；在音乐教育领域，教师可利用其结构分析功能帮助学生理解复杂曲式，或通过歌词转录辅助语言学习。对于播客制作或有声书创作，该工具能自动提取背景音乐的情绪特征，确保音效与内容氛围一致。在社交场景中，AI 助手可以借助 sense-music 描述一首新歌的‘感觉’——比如‘这是一首 128 BPM 的电子乐，主歌部分低沉，副歌转为明亮的大调’，从而用具体而非模糊的语言与人交流。此外，它还可用于音乐版权管理，通过比对结构、调性和节奏特征识别相似作品；或在沉浸式游戏环境中动态调整背景音乐的紧张程度以匹配剧情发展。由于所有处理都在本地完成，它也适合对数据隐私要求高的应用场景，如医疗机构播放舒缓音乐时的环境优化分析。