앞으로 10년이 에이전트의 10년이 될 것 (안드레 카파시)

자율성에 대한 비유를 하나 더 들자면, 저는 테슬라에서 약 5년간 부분적 자율성을 다루는 일을 했습니다. 자율주행은 전형적인 ‘부분 자율성 제품’이고, 여기에도 많은 공통점이 있습니다. 예를 들어 차량 계기판에는 자율주행 GUI가 있어 신경망이 무엇을 보고 있는지 보여줍니다. 그리고 사용자가 조정할 수 있는 ‘자율성 슬라이더’가 있어 제가 근무하는 동안 점점 더 많은 기능이 자동화되었습니다.

 

짧게 하나의 이야기를 하자면, 제가 자율주행차를 처음 타본 것은 2013년이었습니다. 그때 Waymo에 다니는 친구가 팔로알토를 드라이브할 기회를 줬습니다. 그때 저는 Google Glass로 사진을 찍었는데요 — 여기 있는 많은 분들이 너무 어려서 Google Glass가 뭔지 모를 수도 있겠네요. 당시에는 굉장히 화제가 됐었죠. 그 차를 타고 30분 정도 팔로알토 고속도로와 도로를 돌았는데 주행이 완벽했습니다. 개입이 한 번도 없었어요.

 

그게 2013년이었으니 지금으로부터 벌써 12년 전입니다. 그때는 ‘와, 이제 곧 완전 자율주행 시대가 오겠구나!’ 하고 생각했어요. 너무 완벽하게 돌아갔으니까요. 그런데 지금까지 12년이 흘렀는데도 여전히 완전 자율주행을 위해 계속 개발 중입니다. Waymo 차량들이 무인으로 돌아다니는 것처럼 보여도 사실 그 뒤에는 원격조작과 사람이 루프에 들어간 부분이 여전히 많습니다.

 

그러니 아직 완전히 성공했다고 할 수도 없고요. 물론 언젠가는 완전히 될 거라 보지만 정말 시간이 오래 걸렸습니다. 소프트웨어가 그만큼 복잡하고, 자율주행처럼 쉽지 않기 때문입니다. 그래서 요즘 ‘2025년은 에이전트의 해다!’ 같은 말을 들으면 걱정이 됩니다. 제 생각엔 이건 단기간에 끝날 일이 아니고 ‘앞으로 10년은 에이전트의 10년’이 될 겁니다. 상당한 시간이 필요하고, 그동안은 반드시 사람이 루프에 있어야 합니다. 신중히 다뤄야 합니다. 이건 소프트웨어입니다. 우리는 진지해야 합니다.

 

그리고 제가 늘 떠올리는 비유가 바로 아이언맨 슈트입니다. 저는 아이언맨을 정말 좋아하는데요, 기술이 어떻게 발전할지에 대해 아주 잘 보여주는 사례라고 생각합니다. 아이언맨 슈트는 토니 스타크가 직접 입고 조종하는 증강장치이자, 일부 영화에서는 슈트가 상당히 자율적으로 날아다니고 토니를 찾아오기도 합니다.

 

이게 바로 자율성 슬라이더입니다. 우리는 증강장치(augmentation)를 만들 수도 있고 완전한 에이전트(agents)를 만들 수도 있습니다. 둘 다 중요하고, 조금씩 섞어서 발전시켜야 합니다. 하지만 현재처럼 완벽하지 않은 LLM과 함께라면, 지금 단계에서는 화려한 완전자율 로봇을 만드는 것보다 ‘아이언맨 슈트’ 같은 증강형 도구를 만드는 것이 더 현실적입니다. 그래서 현재는 부분적 자율성을 지닌 제품을 만들고, 이를 위한 맞춤 GUI와 UI/UX를 갖추는 것이 중요합니다. 이렇게 하면 사람이 생성-검증 루프를 빠르게 돌릴 수 있고, 원칙적으로는 점차 더 많은 부분을 자동화할 수 있다는 점을 잊지 않으면서 제품에 자율성 슬라이더를 두고 점진적으로 오른쪽으로 옮겨가는 겁니다.

 

---

 

One more kind of analogy I wanted to sort of allude to is I'm not — I'm no stranger to partial autonomy and I kind of worked on this I think for five years at Tesla and this is also a partial autonomy product and shares a lot of the features, like for example right there in the instrument panel is the GUI of the autopilot so it's showing me what the neural network sees and so on, and we have the autonomy slider where over the course of my tenure there we did more and more autonomous tasks for the user.

And maybe the story that I wanted to tell very briefly is — actually the first time I drove a self-driving vehicle was in 2013 and I had a friend who worked at Waymo and he offered to give me a drive around Palo Alto. I took this picture using Google Glass at the time — and many of you are so young that you might not even know what that is — but yeah, this was like all the rage at the time and we got into this car and we went for about a 30-minute drive around Palo Alto highways, streets and so on, and this drive was perfect — there were zero interventions.

And this was 2013, which is now 12 years ago, and it kind of struck me because at the time when I had this perfect drive, this perfect demo, I felt like wow, self-driving is imminent because this just worked — this is incredible.

But here we are 12 years later and we are still working on autonomy — we are still working on driving agents and even now we haven't actually like really solved the problem — like you may see Waymos going around and they look driverless but you know there's still a lot of teleoperation and a lot of human in the loop of a lot of this driving.

So we still haven't even declared success but I think it's definitely going to succeed at this point but it just took a long time — and so I think like this is software, it's really tricky in the same way that driving is tricky. And so when I see things like oh 2025 is the year of agents I get very concerned and I kind of feel like you know this is the decade of agents and this is going to be quite some time — we need humans in the loop, we need to do this carefully — this is software, let’s be serious here.

One more kind of analogy that I always think through is the Iron Man suit — I think this is — I always love Iron Man, I think it's like so correct in a bunch of ways with respect to technology and how it will play out. And what I love about the Iron Man suit is that it's both an augmentation — Tony Stark can drive it — and it's also an agent, and in some of the movies the Iron Man suit is quite autonomous and can fly around and find Tony and all this kind of stuff.

And so this is the autonomy slider — we can build augmentations or we can build agents and we kind of want to do a bit of both but at this stage I would say working with fallible LLMs and so on I would say, you know, it's less Iron Man robots and more Iron Man suits that you want to build — it’s less like building flashy demos of autonomous agents and more building partial autonomy products and these products have custom GUIs and UI/UX, and we're trying to — and this is done so that the generation-verification loop of the human is very, very fast, but we are not losing sight of the fact that it is in principle possible to automate this work and there should be an autonomy slider in your product and you should be thinking about how you can slide that autonomy slider and make your product more autonomous over time.

 

안드레 카파시 YC AI Startup School 발표  - Andrej Karpathy: Software Is Changing (Again)

https://youtu.be/LCEmiRjPEtQ?si=VQwq4FSDll5RFY4Q