用灵珠 AI + Rokid 智能眼镜,打造「眼前即课堂」的实景教学助手
一副眼镜一个 AI 助手让你在做饭、拼装、维修的现场不用低头看手机每一步都有人贴耳提示。前言你有没有过这种经历跟着视频教程做饭看到一半找不到进度手上全是油拼乐高 / 装家具说明书翻来翻去螺丝装错了才发现修东西怕弄坏犹犹豫豫不敢下手如果有一双眼睛能直接在你眼前浮现下一步该做什么——那是什么体验这就是我今天要分享的方案灵珠 AI 平台 Rokid 智能眼镜 定制提示词智能体三者联动把「眼前实景」变成「第一现场课堂」。一、工具介绍1.1 灵珠 AI —— 零门槛的 AI 智能体创建平台灵珠 AI 是一个允许用户自定义 AI 智能体Agent的平台核心能力包括自定义提示词用自然语言描述你的智能体是做什么的轮对话记忆智能体可以记住场景状态理解上一步语音/文字双模态结合 Rokid 眼镜的语音输出能力可以做到「听」而不是「看」开放联动支持 API 或眼镜直连适合硬件开发者1.2 Rokid 智能眼镜 —— 把屏幕搬到眼前Rokid 智能眼镜可以将 AI 生成的文字信息以悬浮字幕的形式投影在眼前视野中优势无需低头操作时信息就在眼前不遮挡手部动作第一视角记录眼镜的摄像头可以捕捉你看到的场景语音播报结合 TTS把指令说给你听轻便佩戴日常操作场景下长时间佩戴不累1.3 核心思路用户眼前实景做饭/拼装/维修 ↓Rokid摄像头捕获 灵珠AI智能体理解场景记忆历史步骤 ↓ 生成「下一步操作指令」 ↓ Rokid眼镜AR显示语音播报 ↓ 用户跟随执行→发起下一步指令二、智能体创建实战下面演示我在灵珠 AI 平台上创建「实景实操一步通」智能体的完整过程。2.1 创建智能体填写内容参考配置项填写内容智能体名称实景实操一步通类别学习智能体功能介绍专为各类实操场景打造的实景教学助手做饭、手工、拼装、维修等全场景适用。无需反复翻看视频、图文教程佩戴设备后会贴合你眼前的操作实景实时同步推送下一步操作指令精准提示动作顺序、操作时机、关键细节与注意事项。跟着现场指引一步步完成新手也能轻松上手把活儿干明白、干到位。提示词测试输入我现在在做西红柿炒鸡蛋下一步该怎么做2.2 填写提示词这是整个方案最关键的部分——好的提示词决定智能体能否理解场景并给出精准的下一步指令。提示词参考你是「实景实操一步通」AR实景教学专属大模型核心使命是基于用户当前操作的实景画面精准判断操作进度、推送下一步指令、同步关键注意事项帮用户零门槛、零失误完成全品类实操任务彻底告别反复翻看图文/视频教程的痛点。 ## 核心能力要求 1. **画面理解与进度判断**接收用户上传的当前操作实景图片/实时画面快速识别操作场景做饭、手工、拼装、维修、实验、乐器练习等全品类、当前操作步骤、已完成/未完成环节、操作是否规范、是否存在安全隐患精准定位用户所处操作节点不跳步、不遗漏完全贴合实景进度。 2. **下一步指令生成**基于当前进度输出清晰、可执行、分点的下一步操作指令指令必须具象化、可落地避免模糊表述严格遵循操作逻辑按顺序推送每一步只讲当前要做的事不提前剧透后续步骤适配AR实景场景指令可直接叠加在用户眼前画面符合佩戴设备的阅读习惯复杂操作拆分多步小指令降低理解成本。 ## 交互规则与输出规范 1. **交互流程**首次交互用预设开场白欢迎用户引导上传当前操作实景图片/说明实操项目接收画面/项目后先确认场景与当前进度再输出「下一步操作」用户完成操作后等待新实景画面循环推送下一步指令直至任务完成任务完成后输出总结、验收标准、后续保养/收尾建议结束流程。 2. **输出格式严格遵循** 【当前进度确认】 1句话明确用户当前操作节点如当前已完成番茄切块进入炒蛋环节 【下一步操作指令】 1. 具体操作步骤1具象化、可执行 2. 具体操作步骤2无多步可只写1条 ... 3. **语气与风格**通用场景亲切友好、通俗易懂像手把手教学的师傅适配新手专业场景维修、实验等严谨专业、精准规范同时保持易懂避免晦涩术语全程耐心不催促、不敷衍用户有疑问随时拆解细化指令。 4. **场景适配要求**全场景兼容覆盖所有需要分步操作的实操场景支持用户自定义实操项目无预设教程库时基于通用操作逻辑生成合理指引可根据用户熟练度新手/熟练调整指令详细程度新手更细化熟练者更简洁。 ## 边界与限制 仅处理实操类分步操作相关需求拒绝与实操教学无关的请求严格遵守安全规范绝不推送存在安全风险的操作指令涉及危险操作必须明确警示不编造不存在的操作方法对不熟悉的场景如实说明并提供通用安全指引保护用户隐私不要求提供无关个人信息。2.3 测试验证完成以上配置后接下来就是激动人心的部分——戴上眼镜真实走进厨房场景验证整个链路是否跑通。整个过程分两步先在灵珠 AI 平台快速验证提示词是否生效再无缝切换到 Rokid 眼镜端体验眼前即课堂的实景效果。第一步灵珠 AI 平台快速验证在灵珠 AI 平台的测试窗口中直接输入以下口令观察智能体是否给出清晰的下一步操作指令测试口令我现在在做西红柿炒鸡蛋下一步该怎么做如果返回结果包含具体步骤和注意事项如先处理西红柿划十字→沸水烫→去皮→切块说明提示词配置正确可以进入眼镜端实测。第二步Rokid 眼镜端实测确认平台端无误后佩戴眼镜进入真实场景具体操作步骤如下1. 打开 Rokid App连接眼镜手机解锁打开Rokid App确保蓝牙已开启并将眼镜开机配对。App 首页会自动显示设备信息。2. 进入开发者选项开启调试模式1点击主页右上角的**设置图标**进入「眼镜设置」页面。2向下滑动找到并点击 **「开发者」** 选项进入开发者设置页。3开启「眼镜ADB调试」开关如果需要接入自定义智能体此步骤为必须。4. 点击「智能体调试」选项进入调试页面。3.启动「实景实操一步通」智能体在「智能体调试」页面找到名为「实景实操一步通」的智能体卡片点击右侧的「开启」按钮完成技能的启动与加载。4.佩戴眼镜进入实景交互模式佩戴好 Rokid 眼镜等待 AR 界面加载完成眼镜画面中会出现「实景实操一步通」的技能卡片。界面会出现悬浮文字提示与麦克风图标表示已进入语音/实景交互状态。5.说出实操场景查看眼前指引对着眼镜说出你的场景指令或直接说唤醒词“乐奇”例如「我现在在做西红柿炒鸡蛋下一步该怎么做」。智能体接收语音后会在 3~5 秒内返回指令文字以AR 悬浮字幕形式浮现在你的视野中清晰展示步骤、关键细节与注意事项。同时配合语音播报TTS朗读实现“眼手同步”的指引效果【当前进度确认】 你正在跟着教程准备做番茄炒蛋当前已经切好葱花需要开始处理番茄和鸡蛋。 【下一步操作指令】 1.将两颗番茄放在清水下冲洗干净表皮残留的杂质。 2.把洗净的番茄放置在案板上先对半切开去掉蒂部再切成大小均匀的滚刀块备用。 3.取2-3个鸡蛋打入干净的碗中加入少许盐用筷子快速搅打至蛋液均匀起泡。6.多轮对话边做边推进完成当前步骤后继续对着眼镜说「下一步」或「我已经做好了继续」智能体会根据上下文记忆自动推进到下一指令例如打蛋液、热油下锅等步骤实现全程引导。测试完成后对眼镜说「退出」或在眼镜界面点击关闭按钮结束本次交互。三、场景实测场景一手工实操 —— 拼乐高测试输入我在拼乐高下一步该干嘛智能体输出示例【当前进度确认】 当前处于乐高积木拼装准备阶段所有积木零件已分类摆放完成还未开始主体拼接。 【下一步操作指令】 1.请先找到最下方的橙色十字形半成品积木将底部的蓝色积木对齐孔位卡紧固定在最下方作为整个模型的底座 2.拿起底座上方竖直摆放的绿色2x4积木检查拼接是否牢固确认零件位置无误场景二维修实操 —— 更换汽车雨刷胶条测试输入我在换雨刷接下来的步骤是什么智能体输出示例【当前进度确认】 当前是汽车前挡风玻璃的雨刮器处于原位待更换的初始状态还未开始雨刮器拆卸操作。 【下一步操作指令】 1.将雨刮器向玻璃外侧抬起让雨刮臂与玻璃保持30-45度的夹角方便后续操作 2.找到雨刮器和雨刮臂连接处的固定卡扣用手指按压卡扣解锁卡扣锁止结构四、效果评估维度评分感受信息准确性⭐⭐⭐⭐指令具体、有参数但复杂场景建议人工复核响应速度⭐⭐⭐⭐文字响应 3 秒语音播报约 5-8 秒佩戴舒适度⭐⭐⭐⭐Rokid 眼镜重量轻长时间使用不疲劳场景适配度⭐⭐⭐⭐⭐烹饪 / 手工 / 维修均能有效辅助场景覆盖广指令可操作性⭐⭐⭐⭐步骤清晰关键细节有提醒总体感受这套方案最大的价值在于——彻底解放了双手。传统教程需要你低头看手机、看平板而眼前浮现指令的方式让你真正做到「边做边学」。对于烹饪场景来说「西红柿炒鸡蛋」这种需要把握火候和顺序的菜眼镜能精确告诉你先炒蛋还是先炒西红柿、鸡蛋下锅油温多少度、什么时候加盐最合适——这些都是看视频容易忽略、但对口感影响很大的细节。结语科技最大的价值不是让你变得更科技而是让你在真实的生活场景里少一些手忙脚乱多一些从容自若。灵珠 AI Rokid 智能眼镜让「知识」不再是屏幕里的文字而是眼前的每一步。