一个月前，AI Devin爆火，Cognition宣布首个AI软件工程师亮相，表示只需一句指令，它可端到端地处理整个开发项目。
其中，Cognition演示了Devin解决Upwork的具体的流程以及列举了一系列解决问题的具体方法
人们纷纷感慨：“程序员真的要失业了么？”，或许今天今天大家可以先把心放下了
来自 YouTube 博主Carl，一位35年资深工作经验的的老程序员，逐帧复现了Devin 完成 Upwork 任务的宣传视频，最终证明Devin并没有演示的那么强大
在对Devin’s Upwork的演示视频分析后，Carl表示：
- Devin并没有解决演示的问题，
- 相反，Devin看起来在修复Github的代码，实际上在编造错误
- 他只花了36分钟解决这个问题，比Devin少花了6个小时
一起看一下Carl详细的复盘
首先，挑选的Upwork并非随机，而是精心挑选，从演示视频来看，精心挑选了road damage，这意味着Devin的表现并不好，或者更差
Devin实际获得的任务中并没有任何交付相关的描述，用户要求的是给出如何在AWS上的EC2中执行此操作的详细说明
然而给到Devin的命令只是”Please figure it out”
于是根据结尾的Devin交付记录，并没有任何关于客户要求内容相关的描述
分析客户的需求到底是什么，正常的AI工程师的流程，需要考虑云实例，服务器，成本等众多的问题
作为一个AI软件工程师，最难的部分，最重要的部分是与客户进行需求的交流，这是AI无法做到的事
Devin实际做了什么？
拿到任务以后，Devin确定了代码，由于依赖的库是四年前的旧版本，所以进行了代码的更新，修改配置文件
这一点很酷，但并没有改变代码，Carl认为这只是配置文件的修改，需要一点点时间
然后Devin遇到了第一个问题：图片打开错误，没有这样的文件
这个文件出现在名为“visualize_detections.py”的代码文件中，实际Carl打开发现项目中并没有这个文件
此外，其他的一些错误仿佛也是无稽之谈，Devin似乎正在创建错误的文件，然后调试修复
再继续往下，Devin创建了一个奇怪的循环，Devin看起来像正在调试文件，但实际这个文件并不在项目中
所以，事实上Devin并没有修复需要修复的代码，而只是自己生成一个错误自己来修
此外，缓冲区的代码也异常糟糕，是十几年前C语言中采用的方法，这种方法也早已经过时
此外，一些真正的错误，Devin并没有发现也没有进行修复，而通过Google修复这个代码，只需要1分钟
最终，Carl历时35分55秒复现这项工作，而仔细看Devin的时间，耗时6个小时，甚至不知道最终生成的内容是什么
如果仔细看代码，还有更多JSON中无意义的调试
我们看到Devin生成的任务列表时，看起来做了很多事
实际上做的一切都十分愚蠢，做的这些都是糟糕，复杂，令人费解的工作，简单来说就是毫无意义
因为这项工作只需要配置好环境后，只需要根据README文件，执行即可，并不需要那么多奇怪且混乱的操作
关于Cognition公司
Devin背后公司名为Cognition AI，总部设在纽约和旧金山，定位是一家专注于推理的应用AI实验室。
目前该团队规模仅有10人，但共揽获了10枚IOI金牌，创始成员均曾在Cursor、Scale AI、Lunchclub、Modal、Google DeepMind、Waymo、Nuro等从事AI前沿工作。
据悉，Cognition AI由Scott Wu、Steven Hao、WaldenYan创立。
结语
目前来看，Devin是世界上第一个AI编程工程师这只是科技公司大肆宣传的陈词滥调罢了，距离解决实际的问题还很遥远
前路漫漫，我相信，就目前阶段，AI只是我们的工具，无法脱离人而存在，现在这些顶多算个草台班子
AI发展的很快，我们总是在担心AI是否会取代我们，其实，他们还没有你想象的那么强大，放下恐慌，这个阶段更需要的这些对 AI 主张持怀疑态度的人和观点
已经看到这里了，如果这篇文章对你有帮助，求个点赞，分享，转发，谢谢你的阅读！
暂无评论内容