video-to-skill

video-to-skill

教程视频转智能体技能

AI官网

应用介绍

看完一个 Excel 教程,字幕听成了「some」,屏幕上明明是 =SUM(B3:B10)。只靠转写稿让 AI 学视频,学到的就是这种错:命令被听错,步骤被转述得面目全非。video-to-skill 的做法是读屏幕,而不只是听旁白,每一步都标明出自视频的哪一帧,屏幕上的文字优先于旁白。

输入一个 YouTube 链接或本地视频,它在本机提取字幕和关键帧,生成一个可安装的智能体技能,再让一个只看得到技能包、没看过视频的子智能体,在沙箱里把每一步真的执行一遍,通过才打上「已验证」徽章。装一条命令就够,不要账号和 API Key,MIT 开源。

软件功能



读屏幕取命令:从画面里读出公式、命令和扩展 ID,每一步带 [t=分:秒] 时间戳和对应的截帧,旁白听错也不会写错

沙箱执行验证:子智能体在没有网络、只能写临时目录、读不到凭证的沙箱里逐步执行,失败会自动修正再验证;没有沙箱的机器上拒绝执行并如实标注,不会假装通过

本地运行:提取器是预编译的 Rust 程序,首次使用自动装好 ffmpeg、yt-dlp 和 whisper 权重,全部校验和固定;Apple 芯片上 whisper 走 Metal 加速

一次装给所有智能体:生成的技能装到本机检测到的每个智能体:Claude Code、Codex、Cursor、Gemini CLI、GitHub Copilot、OpenCode、Amp,只有一份真实文件,其他用相对链接指过去,安装前先给出完整方案,确认才写入

越学越全:再喂同一任务的第二个视频,它会合并:一致的步骤置信度上升,冲突的做法保留为带出处的变体,不会覆盖

不编造:不是流程类的视频会被拒绝并给出分析报告,没被画面证实的步骤会标成低置信度

相关文章


一人带 22 个 Grok Bot 做出海增长:分工与踩坑一人带 22 个 Grok Bot 做出海增长:分工与踩坑
出海运营者 KKKK 一个人带 22 个 Grok Bot,跑 5 种语言、20 多个渠道,一周发约 200 条。本文拆解他的岗位分工、群聊烧掉 40% 额度等踩坑经验,以及可直接安装的开源技能包。