편향이 아니라 관계 (draft)

사람들은 알고리듬¹이 편향된 시각을 제공한다고 말한다. 그렇지만 사실과 가치를 분리할 수 없다는 흄의 주장을 인정하면 우리는 모두 편향적이다. 그런 우리의 데이터 위에서 작동하는 알고리듬이 편향적이라 말하는 것은 전혀 새롭지 않다. 게다가 편향은 모든 사고에 필연적으로 수반된다. 가령 우리는 ‘사과는’ 뒤에 올 단어로 ‘빨간색’, ‘둥근’ 등을 편향적으로 생각하지 ‘편향’, ‘관계’ 등을 생각하지 않는다. 사과는 편향이다. 이 문장이 얼마나 어색하게 느껴지는가?

정신적 편향과 알고리듬 편향은 다른 차원이라고 주장할 수도 있다. 정신적 작용은 창발적이며, 주어진 입력을 받는 단순한 알고리듬과 달리 체화된 인지로 이해해야 한다고 말이다. 하지만 역설적으로 이성이 요구하는 정합성은 알고리듬의 편향과 다르지 않다. 동일한 선을 여러 번 그릴수록 더 직선이 되는 이유는 엔트로피가 낮은, 우리가 직선이라고 편향적으로 생각하는 단순한 기하적 형태로 가깝게 다가가기 때문이다². 더 나아가, 창발성은 인간의 고유한 능력이 아니다. 알고리듬이 우리와 동일한 물리법칙 아래 계산된다는 것은 그들 또한 동일한 가능성을 지님을 의미한다. 실제로 충분히 복잡한 마이크로프로세서는 가끔 새로운 답을 내놓기도 한다. 타이밍 지터와 부동소수점 연산부터 복잡한 스케쥴링, 동기화 로직까지 다양한 원인에서 누적된 우연성이 창발로 나타나는 것이다. 이처럼 물리적으로 내재된 무작위성은 게이트와 같이 통제된 논리에서도 드러난다. 무엇보다 외부 세계의 국지성이라는 동일한 조건 하에서 편향은 필연적이다. 정보 인식 과정에서 모든 정보가 동등한 중요도를 가지는 것은 물리적으로 불가능하다. 편향은 오류가 아니라 기능인 셈이다.

편향에 집중해 알고리듬을 평가하기 시작하면, 신호등 또한 필터버블을 유발하는 사악한 물건이 되어 버린다. 신호등은 교통 상황에 맞춘 개인화된 결과물이다. 또한 우리가 신호등을 찾아가지 신호등이 우리를 찾아오진 않는다. 그렇다면 신호등은 우리를 교통 법규라는 특정 사회에 속한 도덕적 버블에 가두고, 확증편향에 빠트리는 것이 아닌가? 도덕이 선이기 때문에 신호등은 정당하다는 비판은 도덕의 초월적 성격을 강조하기 때문에 충분하지 않다. 도덕은 언제나 해석적이기 때문에 공허한 도덕적 진리는 없고, 도덕적 객관성은 언어 밖에 존재할 수 없다. 또 맥락 없이 독립적으로 알고리듬 결과의 선악을 가리는 것은 불가능하다. 여기서 집중해야 할 것은 바로 관계다. 신호등이 암묵적으로 필터버블을 구성한다고 해도, 그건 공유된 사회적 규범의 관계망 안에서의 작용이다. 그러나 알고리듬은 질적 맥락을 제거하고, 단수적으로 코드화된 결과만을 제공한다. 이러한 도식은 도덕적 해석을 위한 맥락을 파괴한다. 메킨타이어의 유령적 자아의 재생산인 것이다.

전통적인 머신러닝 방법론은 데이터에 의한 편향과 알고리듬에 의한 편향을 구분할 수 있었다. 하지만 최근 LLM으로 대표되는 생성형 AI의 ZSL(zero-shot learning)은 이 둘을 구분할 수 없다. 코퍼스 데이터 표본이 크면 클수록 인간의 의사가 개입된 편향이라기보다는 알고리즘이 선택한 편향에 가까워진다. LLM의 일반적 프레임워크인 인터넷 검색이나 RAG는 데이터에 의한 편향이라기보다는 편향의 재생산에 가깝다. 하지만 알고리듬은 자기가 무엇을 하는지, 그것이 편향인지도 알 필요가 없다. 결국 알고리듬에는 인간의 의도만이 왜곡된 상으로 반영될 뿐이다. 편향된 데이터로 학습시키고 편향된 시각으로 평가하니 당연히 편향이라는 결과가 나온 것이다. 우리가 정작 집중해야 할 문제를 가리면서 말이다.

알고리듬은 공동체 관계 네트워크의 복잡성과 투명성을 에테르화하여 개개인의 주체성을 버리고 문맥 의존적 객관성을 얻는다. 정보는 주체성을 가지지 않는다. 예를 들어 물체를 A에서 B로 옮길 때의 나의 의지적 행위의 주체성이, 물리적 변화를 표현하는 정보에서는 부재한다. 따라서 알고리듬의 자동화된 결정은 주체성이 소독된 정보를 하나의 블랙 박스에 넣고 그걸 다시 소비하는, 관계라는 맥락이 결여된 행위다. 이는 소비자에서 알고리듬으로 향하는 구조화된 정보 흐름의 낙차를 형성하기 때문에 경계해야 한다. 이러한 전체론적 낙차의 필요충분조건은 주체성의 소독과 하나의 블랙박스다. 코드화된 인터넷 공간상에서 주체성을 보존하는 것은 불가능하고, 블랙박스가 다원적이라면 위계는 성립하지 않기 때문이다. 현실에서 질적으로 교반작용하는 다원적 관계성과 달리, 양자화된 정보에 의한 소통은 아무리 빨라져도 보이지 않는 단절을 도입하고 있다. 디지털 오디오나 사진이 현실과 다른 것 처럼 말이다.

편향 재생산이 실재하는가?

위에서 말했든 편향은 필연적이고, 이를 문제 삼는 것은 알고리듬이 완벽해야 한다는 환상에 가깝다. 이제 남은 질문은 이러한 편향이 누적되어 점진적으로 사고를 비트는 편향 재생산이 실재하는가이다. 만약 실재한다면 필터버블처럼 존재론적으로 존재하는지 에코챔버처럼 인식론적으로 존재하는지에 대한 구별도 필요할 것이다. 즉 편향의 존재에 관한 담론에 가려져 있던 알고리즘이 편향을 어떻게 재생산하는지 다뤄볼 것이다.

편향에 관해 논하기 위해서는 몇 가지 전제가 필요하다. 만약 알고리듬의 편향이 인간의 편향에 항상 종속적이라면 이 논의가 무의미해지기 때문이다. LRM(Large Reasoning Model)이 복잡한 사고 능력을 가지고 있지 않다는 것을 실험한 논문의 논평³은, 실험 설계를 반박하며 결론에서 아주 중요한 지적을 했다: 모델이 추론하는지가 아니라 우리가 추론과 표면적 텍스트 생성을 구분할 수 있는지가 문제다. 중국어 방 논증이라는 아주 고전적인 질문이 다시금 제기되는 이유는 계산된 발화효과행위의 의도성에 관한 본능적 거부감 때문이 아닐까? 즉, 알고리듬의 편향성은 인정하면서 그 행위능력에 대한 담론은 기술결정론으로 퇴보한 게 아닐까? 외적 가치론에서 유일하게 살아남은 정동을 위협하는 LLM에 대해서 특히 그런 것 같다. 물론 데리다적으로 생각하면 문제를 쉽게 회피할 수 있다. 발언의 맥락 단절은 오히려 재의미부여의 힘이라고. LLM이 강력한 이유는 그것의 의도성과 관련 없이 언어가 부여받은 권한을 초과한 권력을 행사할 수 있는 탈전유의 기능이라고. 하지만 이건 문제를 살짝 비튼 것이지, 존재론적 차원에서 이질적인 행위자와의 격차는 전혀 좁혀지지 않았다.

조금 더 행위자의 관점에서 중국어 방 논증을 독해해 보자. 이 논증의 가장 큰 오류는 인간이라는 원자적 행위자를 가정하면서, 중국어 방 그 자체는 행위자로 취급하지 않는다는 것이다. 이런 식으로 가정한다면 우리는 입이 언어를 이해하지 못하기 때문에 사람은 언어를 이해할 수 없다는 황당한 주장이 가능하다. 이는 모든 상호작용을 부분으로 종합하는 전형적인 근대적 주체성의 오류로 보인다. 또 형식적 계산에서 생각할 수 없다는 주장은 오토마타에 대한 빈약한 이해에서 출발한 듯하다. 게다가 뉴런도 어느 정도 형식적이다. 입력은 아날로그지만, 출력은 이산적이기 때문이다. 여기서 중요한 교훈은 생성하는 행위자는 구체적 경험만이 필요하지, 이해 책임이 없으며, 인과적으로 연결된 코드를 해석할 수 있는 내부적 능력을 갖춘 사람만이 이해할 뿐이라는 것이다. 결국 이러한 편향은 해석자에게 달렸고, 알고리듬과 인간 둘 중 하나에 결정적 책임을 물을 논거는 부족하다. 버틀러의 시각으로 말하면 우리는 언어의 초과적 역사성 아래 편향된 관점을 인용할 뿐이다.

이런 의미론적 외재주의(Semantic externalism)에는 한 가지 큰 윤리적 딜레마가 발생한다. 단순한 전달자에게 윤리적 책임이 있는가? 아니면 이해하는 사람에게 최종 책임이 있는가? 지시 없이 AI가 프랑스어로 작성한 청부살인 의뢰서를 인도인이 다른 프랑스인 청부 살인자에게 전달할 때 우리는 누구에게 책임을 물어야 할까? ANT(Actor Network Theory)의 테제를 수용해 이런 인과 체인으로 연결된 중간자 또한 일반화된 대칭성으로 다루면 인도인에게도 분명히 책임이 있다. 하지만 인도인은 무작위로 연결된 기호들을 보고 어떻게 청부살인 의뢰서인 줄 아냐며 항변할 수 있다. 또 다른 사람은 언어는 사용 속에서 나타나기 때문에 이해하지 못하는 언어로 행위를 할 수 없다고 주장할 수도 있다. 하지만 우리는 좀 더 근본적인 질문에 답해야 한다. 우리가 생각하는 뚜렷한 인과성이 정말로 존재하는가? 현실은 이런 가상의 딜레마처럼 재현 가능하지 않다. 마찬가지로 알고리듬도 수학적 함수처럼 항상 결정론적으로 행위하지 않는다. 메이야수의 말처럼 모든 건 우연일 뿐일까? 이에 대한 물음은 다른 글에서 다루도록 하고, 다시 원래 논의로 돌아가 보자.

위에서 다뤘던 윤리적 딜레마에서 중요한 점은 편향 재생산이 의도 없이도 발생한다는 점이다. 즉 알고리듬이 의도성을 가지던, 가지지 못하던 편향 재생산은 양측 모두에서 의도 없이 일어난다. 편향의 생산과 해석에 이러한 비대칭성은 재생산의 존재에 관한 초기에 물음인, 인식론적인지 존재론적인지에 대한 대답을 요구한다. 캉킬렘의 말처럼 비정상은 관계 안에서만 인식되고, 데리다가 해체는 구조 안에서만 가능하다고 말했던 것도 같은 맥락을 공유한다. 우리가 이 편향의 관계 속으로 어떻게 미끄러져 들어가는지 알아야 한다는 것이다. 중국인 혐오를 예로 들어보자. 내가 중국인이 아닌 상황에서 짱깨라는 혐오 발언을 들으면 이중구속의 상황에 부닥치게 된다. 나의 인정 유무와 관련 없이 어떠한 의견이든 그러한 혐오 표현을 해석했다 인정하는 셈이고, 내가 의견을 제시하지 않아도 도리어 정체성을 인정하는 셈이 돼버린다. 나의 선택과 관계없이 포획되어 이 편향의 관계망 안에서 재생산하는 주체가 돼버리고 만다. 편향이 인식론적이라고 말하는 것은 이런 구조적 폭력을 가려버릴 수 있다. 편향은 인식론적, 존재론적 둘 다의 맥락에서 작동하지만, 우리가 좀 더 주의 깊게 봐야 할 주제는 필터버블 즉 존재론적 측면이다.

유명한 고전 여론조작(Manufacturing Consent)에서는 5종류의 필터를 거쳐 이익집단이 여론을 조작하는 방식을 구체적 사례와 함께 보여준다. 국지적인 알고리듬의 편향에서는 이런 도식적인 접근보다 서론에서 암시했던 관계적 접근법이 더 유용하다. 여론과 이익집단이라는 생산자 소비자 관계가 아니라 스스로가 상호 구성적 구조 내에서 의도 없이 재생산하기 때문이다. 편향이 어떻게 스스로 관계를 파괴하게 만드는지 위의 신호등 예시로 다시 넘어가 알고리듬과의 차이점을 논의해 보자. 신호등은 일종의 정적이고 내재된 규범이다. 또 경합적으로 제어하는 군중이 존재한다. 하지만 알고리듬은 비록 방법론적 기반이 내재 또는 관여하더라도 능동적으로 변화하는 규범의 성격을 띤다. 즉 알고리듬은 인간이 쓴 텍스트가 블랙박스 안에 들어가서 인간에 의해 다시 소비되는 것과 같이 교정 불가능하게 반복되는 구조다. 알고리듬도, 사용자도 자신의 편향을 볼 수 없으므로 더 위험한 것이다. 겉으로는 관계되어 보이지만 콘텍스트 없는 단절의 연속성을 지닌 알고리듬은 역사성이 없다.

통계 분석은 질을 양으로 그리고 다시 질로 변화시키며 허구적인 연속성을 창출한다. 여기서 손실되는 물화된 기억은 단순한 망각으로 봐야할까? 알고리듬에 의해 자동화된 주민등록 시스템에서 전산 오류로 몇 명이 사라졌다면, 그런 의도하지 않은 편향으로 누군가는 불법 이민자라는 낙인을 부여받을 수 있다. 이런 물화된 기억의 상실이 실존적 폭력으로 번역되는 현상은 세계와 단절된 거대한 내적 시스템에서, 즉 번역이 어렵거나 불가능한 블랙박스 안에서 일어난다. 우리를 위해 만들어낸 알고리듬에 의해 우리가 무력한 대자존재로 밀려나는 것이다. 알고리듬은 단순히 기술에서뿐만 아니라 사회 전반에서 단순히 수치로 환산될 수 있는 모든 지형에서 암시적으로도 작동한다. 알고리듬과 기술은 그들만의 내재된 조직적 기억체를 구성하며 우리를 초과하는 연결망을 구축하고 있다. 이 상황에서 알고리듬이 만들어낸 책임을 우리 스스로에게 부과하는 것은 도덕적 노예를 자처하게 될 뿐이다. 알고리듬은 우리의 의도를 초과해서 작동하기 때문이다.