综合介绍

Pickle Glass（简称Glass）是一款由Pickle团队开发的开源AI桌面助手。它在电脑后台静默运行，能够实时捕捉并理解用户屏幕上显示的内容和麦克风输入的声音，目的是将用户日常的碎片化信息转化为结构化的知识。它不同于传统的问答式AI助手，Glass采取主动观察的工作模式，在不打扰用户的情况下分析当前任务，从而在会议、学习和编程等场景下提供即时的信息整理和智能支持。这款工具致力于成为用户的“数字思维扩展”，帮助用户记录和组织信息，最终实现构建个人化数字分身的目标。

功能列表

• 隐形运行: Glass在后台运行，不会出现在屏幕录制、截图或macOS的程序坞中，以此保护用户隐私并减少干扰。
• 实时会议助手: 能够实时收听会议音频，自动生成会议记录和摘要。 当会议中提到特定术语时，它可以即时提供相关的背景知识。
• 情境感知问答: 用户可以随时向Glass提问，它会基于已经观察到的屏幕和音频内容进行回答。
• 多模态信息捕捉: 同时捕捉屏幕画面和音频，全面记录用户的工作和交流环境。
• 结构化知识生成: 将捕捉到的零散信息，例如对话、浏览的网页、代码等，自动整理成有条理的笔记。
• 开源免费: Glass是一个在Apache 2.0许可下发布的开源项目，用户可以免费使用，并且无需注册。
• 跨平台支持: 支持macOS和Windows操作系统（Windows为测试版）。
• 模型可定制化: 支持用户选择不同的语言模型（LLM）和语音转文本（STT）模型，包括Gemini和Claude等。

使用帮助

Glass的核心设计理念是“被动观察”，它在后台默默记录，并在你需要时提供帮助。以下是详细的使用说明，帮助你快速上手。

安装前的准备

Glass并非一个传统的“开箱即用”应用，它的安装更像是在配置一个开发环境。在安装前，你需要确保你的电脑上已经安装了Python和Node.js。

1. 安装Python:
   • 访问 Python官网 (python.org) 下载并安装最新版本的Python。
   • 在安装过程中，请确保勾选了 "Add Python to PATH" 的选项。
2. 安装Node.js:
   • 访问 Node.js官网 (nodejs.org) 下载并安装LTS（长期支持）版本。

安装与启动

完成准备工作后，你可以从其官方GitHub页面获取并安装Glass。

1. 获取源码:访问 https://github.com/pickle-com/glass 项目页面，通过git clone命令将项目克隆到本地，或者直接下载ZIP压缩包。
2. 安装依赖:打开你电脑的终端（Terminal）或命令提示符（Command Prompt），进入项目的根目录，然后运行相应的命令来安装所需的依赖包。具体的命令可以在GitHub页面的说明文档中找到。
3. 配置API密钥:Glass需要连接到大语言模型（如OpenAI的GPT、Google的Gemini）才能实现其智能功能。你需要拥有相应服务的API密钥，并将其配置在应用中。通常，这需要你在项目文件夹中创建一个特定的配置文件（例如.env文件），然后填入你的密钥信息。
4. 启动应用:完成所有配置后，在终端中运行启动命令。成功启动后，Glass的图标会出现在系统菜单栏上，代表它已经开始在后台运行。

核心功能操作

启动Glass后，它会首先请求三项关键权限以保证正常工作：

• 屏幕录制权限
• 麦克风访问权限
• 辅助功能权限

请务必全部允许，否则应用无法捕捉屏幕和音频信息。

• 隐形观察与记录Glass一旦运行，就会自动开始记录屏幕上发生的一切以及通过麦克风传入的声音。这一切都是在后台静默进行的，不会有任何窗口或弹窗干扰你的正常操作。 它就像一个数字记忆海绵，吸收你看到和听到的一切。
• 实时会议纪要当你参加在线会议时，Glass会自动“聆听”。会议结束后，它可以为你生成一份包含重点摘要、任务列表和关键讨论内容的纪要。 你无需进行任何额外操作，Glass会自动识别会议场景并完成记录。
• 随时提问这是Glass最强大的功能之一。你可以通过快捷键（具体快捷键可在设置中自定义）随时唤醒提问界面。例如，你可以问：
  • “刚才会议里提到的那个‘Llama 3’是什么？”
  • “总结一下我上午浏览的关于AI Agent的所有网页内容。”
  • “帮我把我刚刚在VS Code里写的那个Python函数找出来。”

  Glass会利用它已经记录的上下文信息，提供精准的答案，就像在与一个对你过去几小时工作了如指掌的助手对话。

• 数据与隐私开发团队表示，Glass的设计将用户隐私放在首位。 作为一个开源项目，所有代码都是公开透明的。 同时，它尽可能在本地处理数据，以保护信息安全。 用户的数据被存储在私密的保险库中，用于模型的自我学习和适应，从而让回答越来越符合你的习惯。

应用场景

1. 在线会议对于需要参加大量在线会议的职场人士，Glass可以自动完成会议纪要的整理工作。它不仅能转录对话，还能提炼出关键决策和待办事项，极大地节省了会后整理笔记的时间，并确保信息不会遗漏。
2. 学习与研究学生或研究人员在进行资料搜集时，经常需要在短时间内浏览大量网页和文献。Glass可以被动记录下所有的浏览内容。当需要回顾时，可以直接向它提问，例如“总结一下我今天看过的关于量子计算的论文要点”，Glass能迅速整理出相关信息，构建一个动态的个人知识库。
3. 编程开发开发者在编写代码或调试问题时，常常会查阅文档、在不同代码文件间跳转。Glass可以记录下这些操作流。当开发者想要回溯之前的某段代码或解决方案时，可以直接通过自然语言查询，而不需要在成堆的标签页和文件中手动寻找。
4. 灵感捕捉对于创作者或设计师来说，灵感往往转瞬即逝。Glass能够捕捉你在屏幕上看到的所有内容和听到的所有讨论。当你需要寻找灵感时，可以回顾一段时间内的视觉和听觉记录，从中发现被忽略的细节或创新的想法。

QA

1. Glass是什么？Glass是一个开源的AI桌面助手，它能在电脑后台运行，通过观察你的屏幕内容和收听音频，实时理解你的工作上下文，并将这些信息转化为结构化的知识，用于提供会议纪-要、回答问题等。
2. Glass和其他AI助手（如ChatGPT）有什么不同？主要区别在于交互方式。传统的AI助手需要用户主动输入问题或指令来获取帮助。而Glass是“主动观察型”的，它在后台持续运行，自动收集信息，因此当你提问时，它可以利用这些上下文提供更加贴合你当前工作情境的回答。
3. 使用Glass是否安全？我的数据会被上传吗？Glass是一个开源项目，代码公开，用户可以审查其工作方式。 开发者声称非常注重隐私，尽可能在本地处理数据。 不过，由于它需要调用云端的大语言模型API，部分数据处理仍需在线完成。建议用户在使用前详细了解其数据处理流程。
4. Glass是免费的吗？是的，Glass本身是开源且免费的。 但它需要使用第三方大语言模型（LLM）的API，例如OpenAI或Google的API，这些服务可能会按使用量收取费用。
5. 安装Glass复杂吗？对于不熟悉开发环境的用户来说，安装过程可能稍显复杂，因为它需要预先安装Python和Node.js，并进行一些命令行操作。 它并非像普通软件那样双击即可安装。