이 글은 전편: LLM이 그리는 세계, 비트겐슈타인은 이걸 예언했을까?의 후속편이다.전편에서 나는 LLM이 전기 비트겐슈타인의 그림이론을 실현한 것이라고 썼다. 언어는 세계의 그림이고, LLM은 그 그림을 통계적으로 재구성하는 데 놀라울 정도로 성공했다고.그런데 비트겐슈타인 본인이 그 이론을 버렸다. 왜?규칙의 조합 vs 규칙의 발명LLM을 포함한 통계적 딥러닝 모델은 본질적으로 interpolation 머신이다. 관측된 데이터 포인트들 사이를 보간하는 것. "이런 맥락에서 다음에 올 토큰은 이것이다"를 수십억 개의 예시로부터 학습한 패턴 매칭.주어진 규칙의 조합은 기가막히게 잘한다. 프로그래밍 언어 10개를 알면 11번째 언어로 코드를 작성하는 건 어렵지 않다. 기존 언어들의 패턴을 조합하면 되니까. ..
