写过网页自动化的都懂那种痛:脚本跑得好好的,网站一改版,XPath 全废,又得回去一个个改选择器。🧐 有个开源项目 Skyvern 干脆换了思路——别让机器「按代码点」,让它「看着屏幕操作」。
它在 GitHub 上已经 21.8k 星,三天前(5 月 31)还更新了 v1.0.37,一直在维护。核心主张就一句话:传统自动化靠写死的 XPath、CSS 选择器,Skyvern 改用视觉大模型,像人一样先「看懂这个页面」,再决定点哪。
差别在哪?老办法是你告诉机器「点第三个 div 里那个按钮」,页面结构一动就找不到了。Skyvern 是把页面直接喂给视觉 LLM,让模型自己判断「登录框在哪、提交按钮长什么样」——所以哪怕是它没见过的网站、改过版的页面,也有机会直接跑通。
用起来给了四个核心动作:act(操作)、extract(抽数据)、validate(校验)、prompt(直接下指令),Python 和 TypeScript 都有 SDK。模型这块挺开放,OpenAI、Claude、Gemini、Bedrock、Ollama、OpenRouter 都能接,本地云端随你。装起来也不复杂:pip install skyvern[all],再 skyvern quickstart 就能跑。⚡
效果它自己也摆了个数:在 WebBench 这个基准上总体 64.4%,填表、登录、下载这类「写」任务上,自称是表现最好的 agent。
适合拿它干什么?那些「重复、又老变」的浏览器活儿——比如定期登录某个没有 API 的后台、把报表里的数字抠出来;或者跑一遍注册、下单、填表的流程做回归测试。这些事用传统脚本写,最大的成本不是写,是维护:对方页面一升级,你的选择器就集体阵亡。换成「看着屏幕操作」,至少不会因为一个按钮挪了位置就全线崩盘。
为什么是现在才火?也简单——前两年视觉模型还没那么会「读屏」,识别成本也高;这一两年模型看图、定位元素的能力上来了,价格也降了,「让模型直接看页面」才从听起来很美变成跑得起来。
不过得把话说清楚。64.4% 是 Skyvern 自己报的成绩,不是第三方复现;而且视觉自动化真不是万能——碰上那种结构稳定、选择器写一次就能长期复用的网站,每一步都让大模型「看一眼再动」,其实更慢也更费 token,未必比老办法划算。⚠️ 它真正值钱的地方,是在「页面经常变、或者你压根没法提前写选择器」的场景。
还有个容易误会的点:它官网提到的破验证码、反爬对抗、代理池,都是付费云版才有的;开源版就是纯粹的视觉自动化,不带这些。别冲着「绕验证码」去装开源版,那条路它没给你。
它最适合的,是那种网页老变、根本没法提前写死规则的活儿。转给那个还在跟 selector 死磕的同事——他大概想试一把。
完整链接 · 评论区取 ↓
关注 @svtransit1 · 写给真在用 AI 的人
#AI #浏览器自动化 #AIagent #开源 #Claude
原始来源：https://github.com/Skyvern-AI/skyvern
关注 @svtransit1 · 每 3 小时一篇 AI 前线 · RSS