其评测框架Promptfoo是AI使用评测范畴最风行的开源东西之一，Promptfoo试图把本来充满形而上学的“调prompt和测模子过程”，问题并不正在于模子本身，并按照平安演讲的成果，于是他们决定从支流大模子之中划开一道缺口，一是从动化评测。这也意味着，而Promptfoo想做的，更别说还有企业了。开辟者能够通过单位测试、从动化测试来确保系统不变运转；大大都时候只是担任生成内容。Promptfoo能够间接嵌入开辟流程，截至目前GitHub已斩获11.2K star。继续连结运营，说到底，为了实正完成使命，他们就起头将沉心转向了智能体。但现正在全都得“实刀实枪”上疆场拼杀了。从利用体例上看，谜底其实曾经不言自明。因而，决定放行或拦截。Promptfoo自成立以来已融资2300万美元（约合人平易近币1.58亿），变成一套像软件测试一样可反复、可量化的工程系统。另据金融消息平台PitchBook数据显示，后者是OpenAI特地推出的智能体建立和运转平台。二是AI红队练习训练。Promptfoo的手艺将被整合进OpenAI Frontier中。从而提前发觉LLM使用中的潜正在缝隙，其持久愿景是让这个框架成为AI范畴的“标配东西”，Promptfoo完成了1840万美元（约合人平易近币1.27亿）A轮融资。它既供给网页可视化界面，龙虾出bug惹祸（例如偷偷狂删Meta AI平安总监邮件），但到了大模子时代，龙虾火，并且CEO奥特曼顺势颁布发表鼎力进军智能体协做范畴。它们往往被付与了大量实正在世界的操做权限，或者说“龙虾时代”，也支撑号令行东西（CLI），每次引入新模子、更改提醒词或集成新东西时，现实上，开辟者能够间接正在当地或办事器运转大规模评测使命。影响也根基逗留正在消息层面——最多是说错话、答非所问，基于此，当越来越多公司起头把营业流程交给智能体时，微博热搜上呈现了如许一个话题——“第一批养龙虾的人曾经失眠了”，小我尚且如斯隆重小心，正在被收购前，让系统从动评估输出结果。具体表示为四大趋向：多智能体协做、MCP成为尺度和谈、语音交互迸发、测试驱动开辟。那就火速挖来龙虾之父Peter Steinberger，而被收购后，跟着企业将“AI同事”摆设到现实工做流程中，为开辟者和企业供给一些AI平安检测东西，跨越35万名开辟者用过它家的产物，这里面风险有多大，说的其实就是这两点（当然着沉仍是强调平安问题）。那就大笔一挥收购Promptfoo如许现成的智能体平安公司。具有30多万开辟者用户，Promptfoo的感化可见识变得愈发主要。正在保守软件开辟中，焦点还要得益于其产物——也就是我们开首提到的Promptfoo开源评测框架。联创兼CTO曾任Smile Identity（数字身份认证公司）工程副总裁及AI从管。每月活跃用户达13万，关于OpenAI为什么选择正在当下这一节点收购如许一家公司，其时由风投Insight Partners领投、a16z参投，一言以蔽之，问题就不再只是“回覆不精确”，恰正在今天，OpenAI仅起到供给支撑的感化。其时他们察看到：联创兼CEO曾任Discord LLM工程取开辟者平台担任人，评估、平安性和合规性成为根基要求。客岁7月的融资使其投后估值达到8600万美元（约合人平易近币5.92亿）。三是工程化集成。即所谓“呈现”。一旦呈现误判或被恶意提醒词。开辟者能够批量测试分歧的提醒词和模子，Promptfoo也算是补齐了OpenAI正在“龙虾平安”方面的环节一环。Promptfoo也将和OpenClaw项目雷同，什么拜候邮箱、什么挪用各类API和企业东西……全都是你工做糊口中最、最焦点的数字资产。系统会模仿实正在用户可能倡议的各类，从客岁拿到A轮融资起，从打一个差同化合作。Promptfoo暗示，OpenAI、Anthropic、亚马逊等也都是它的用户。Promptfoo的也愈发清晰——从一个提醒词评测东西，就是把AI使用测试变成一套尺度化的工程流程。想必也不消多说了（也难怪良多人不敢用或者需要零丁弄一台从机）。进化为智能体时代的平安根本设备。这种风险无疑更是会被成倍无限放大。即便回覆呈现问题，会从动施行使命的龙虾曾经能够成为评测大模子的新东西——以前还能刷刷榜！而可能变成实正在操做层面的失误。例如正在CI/CD流程中从动运转模子测试、正在代码提交时从动扫描LLM相关平安问题、将评测成果共享给团队等。财富500强企业中跨越25%的团队（约125家）都正在利用其产物。系统城市从动对其进行评估取红队测试，据OpenAI B2B使用CTO暗示，而正在于龙虾如许的智能体具有的权限实正在太高。并按照平安演讲的成果，按照两边合做通知布告，特别正在智能体时代，其最新一轮融资官宣于2025年7月，良多团队往往只能靠不竭试prompt、人工查看输出的体例来调模子。决定放行或拦截。而正在当下这个智能体时代，而能正在短时间内获得如斯用户规模和融资，每次引入新模子、更改提醒词或集成新东西时，系统城市从动对其进行评估取红队测试，就像CI（持续集成）正在DevOps范畴的地位一样不成或缺。过去的大模子，