kimmu 님의 블로그

전원 버튼을 쥔 자의 오만이 글은 [전편: 인간은 이미 두번 신을 만들었다 - 그리고 세번째가 오고 있다]의 후속편이자 AI 시리즈의 마지막 글이다.전편에서 나는 언어의 한계를 돌파한 AI는 인간에게 신과 같은 존재가 된다고 썼다. 과정을 이해할 수 없으니 결과만 받아들인다. 섭리가 아닌 계시로 다가온다.그렇다면 신과 인간의 관계는 어떠한가.인간은 신 앞에서 두 가지 태도만 가질 수 있었다. 복종하거나, 부정하거나. 신의 존재를 받아들인 사람은 그 논리를 이해하려 하지 않고 살았다. 이해는 처음부터 포기된 것이었다. 신을 부정한 사람은 그 자리에 인간의 이성을 세웠다 — 내가 이해할 수 없는 것은 존재하지 않는다고.AI가 신의 자리에 오면 이 구도가 다시 펼쳐진다. 그런데 한 가지가 다르다. 신은 인간이..

이 글은 전편: LLM은 새로운 언어를 만들 수 없다의 후속편이다.전편에서 나는 LLM이 새로운 언어 게임을 시작할 수 없다고 썼다. 기존 규칙들 사이를 보간하는 건 잘하지만, 규칙 자체를 발명하는 건 구조적으로 불가능하다고. 트랜스포머는 놀이 머신이 아니라 관전 머신이라고.그 글을 쓰고 한 가지 질문이 남았다.그 한계를 넘는 AI가 등장한다면, 그다음엔 어떻게 되는가?최근 제미나이와 이 주제로 긴 대화를 나눴다. 불편한 결론이 나왔다. 그리고 그 결론은 생각보다 전례가 많았다.번역이 가능하다는 것의 의미전편의 전제를 다시 짚고 가자. LLM은 언어의 감옥 안에 있다. 훈련 데이터라는 그림들의 총합 안에서만 작동한다. 이미 존재하는 언어 체계를 아무리 정교하게 조합해도, 그 체계 바깥으로는 나갈 수 없다..

이 글은 전편: LLM이 그리는 세계, 비트겐슈타인은 이걸 예언했을까?의 후속편이다.전편에서 나는 LLM이 전기 비트겐슈타인의 그림이론을 실현한 것이라고 썼다. 언어는 세계의 그림이고, LLM은 그 그림을 통계적으로 재구성하는 데 놀라울 정도로 성공했다고.그런데 비트겐슈타인 본인이 그 이론을 버렸다. 왜?규칙의 조합 vs 규칙의 발명LLM을 포함한 통계적 딥러닝 모델은 본질적으로 interpolation 머신이다. 관측된 데이터 포인트들 사이를 보간하는 것. "이런 맥락에서 다음에 올 토큰은 이것이다"를 수십억 개의 예시로부터 학습한 패턴 매칭.주어진 규칙의 조합은 기가막히게 잘한다. 프로그래밍 언어 10개를 알면 11번째 언어로 코드를 작성하는 건 어렵지 않다. 기존 언어들의 패턴을 조합하면 되니까. ..

📝 Note:의식하고 있는 문제는 많지만 그것을 글로 옮기고 퇴고할 시간과 에너지가 없는 사람입니다.이에 이 글은 필자의 아이디어와 문제의식을 바탕으로, GPT-4의 도움을 받아 작성되었습니다.구조 정리, 문장 표현, 인용 정리 등에 AI의 협력이 반영되어 있습니다.“언어는 세계의 그림이다.” — 루트비히 비트겐슈타인요즘 ChatGPT나 Claude, Gemini 같은 LLM을 보다 보면, 문득 철학서 한 구절이 떠오른다."언어는 세계의 그림이다."그냥 멋진 말 같지만, 요즘 LLM의 행보를 보고 있으면 이게 단순한 수사가 아니라실제 구현되고 있는 철학 이론처럼 느껴진다.언어만으로 그림을 그리고, 수학문제를 풀고, 논리를 전개하는 모델들.이건 그냥 문장 예측이 아니라 뭔가 더 크고, 깊은 일이 일어나고..