[241216] 베이직반: (Deceptively simple: An outsider's perspective on natural language processing) 내용 요약

Deceptively simple: An outsider's perspective on natural language processing

Idea I: 기계 번역을 통한 정치적 양극화 분석

이 아이디어는 기계 번역 기술을 활용하여 정치적 양극화를 정량화하는 새로운 프레임워크를 제안합니다.

• KhudaBukhsh는 기계 번역 기술을 활용하여 정치적 양극화를 정량화하는 새로운 프레임워크를 제안했습니다.
• CNN과 Fox News의 YouTube 채널 댓글을 서로 다른 "언어"로 취급하고 번역하여 차이점을 분석했습니다.
• 이 방법으로 뉴스 네트워크 간의 정치적 스펙트럼을 파악할 수 있었습니다.
• 예를 들어, "democrats"와 "republicans"가 서로 다른 맥락에서 사용되는 방식을 분석했습니다.
• 이 연구는 기계 번역 문헌을 정치적 양극화와 처음으로 연결시킨 것으로 평가됩니다.

주요 방법론:

• CNN과 Fox News의 YouTube 채널 댓글을 서로 다른 "언어"로 취급
• 이 두 "언어" 사이의 번역 쌍을 분석하여 차이점 파악
• 잘못 정렬된 단어 쌍(misaligned pairs)을 통해 정치적 차이 식별

구체적 예시:

• "democrats"와 "republicans"가 서로 다른 맥락에서 사용되는 방식 분석
• 두 뉴스 네트워크 사용자 토론에서 이 단어들이 거의 동일한 맥락에서 사용되지만 상반된 의미로 사용됨을 발견
• 비방적 용어들(예: "libtards", "repugs")도 서로 번역되는 것을 관찰

연구 결과:

• 뉴스 네트워크 간의 정치적 스펙트럼 파악 가능
• MSNBC, CNN, Fox News 순으로 정치적 스펙트럼상 왼쪽에서 오른쪽으로 배열됨을 확인
• 이 방법론을 다른 언어(예: 스페인어)와 위기 상황(예: 난민 위기)에도 적용 가능함을 입증

---

Idea II: 다국어 단어 임베딩과 코드 스위칭 활용

이 아이디어는 다국어 코퍼스로 학습된 단어 임베딩의 특성을 활용하여 언어 식별 및 저자원 언어에 대한 의미론적 샘플링을 수행합니다.

• 다국어 코퍼스로 학습된 단어 임베딩(polyglot word embeddings)이 언어 클러스터를 발견한다는 점을
  활용했습니다.
• 이를 통해 최소한의 감독으로 강력한 언어 식별자 PolyLID를 구축했습니다.
• PolyLID는 소셜 미디어의 노이즈가 많은 텍스트에서도 우수한 성능을 보였습니다.
• 코드 스위칭(한 문서 내 여러 언어 사용)을 활용하여 저자원 언어에 대한 의미론적 샘플링을 수행했습니다.
• 이 방법으로 영어 자원을 활용해 힌디어 등 저자원 언어의 긍정적 콘텐츠를 효율적으로 샘플링할 수 있었습니다.

PolyLID: 강력한 언어 식별자

• 다국어 코퍼스로 학습된 FastText 임베딩을 사용
• k-평균 군집화 알고리즘을 통해 언어 클러스터 식별
• 최소한의 감독으로 노이즈가 많은 소셜 미디어 텍스트에서도 우수한 성능 발휘

코드 스위칭을 활용한 의미론적 샘플링

• 코드 스위칭(한 문서 내 여러 언어 사용) 현상을 활용
• 영어 자원을 활용해 힌디어 등 저자원 언어의 특정 내용(예: 긍정적 콘텐츠) 효율적 샘플링
• 예: 인도-파키스탄 갈등 상황에서 평화를 촉구하는 내용 샘플링

연구 결과:

• 10개의 저자원 인도어에 대한 공개 소프트웨어 개발
• 핵전쟁 위기 상황에서의 긍정적 내용 탐지, 난민 지원 내용 탐지 등 다양한 사회적 문제에 적용

---

Idea III: 대규모 언어 모델의 편향 감사

이 아이디어는 "toxicity rabbit hole" 프레임워크를 통해 대규모 언어 모델의 편향을 체계적으로 조사합니다.

• "toxicity rabbit hole" 프레임워크를 개발하여 여러 대규모 언어 모델의 편향을 체계적으로 조사했습니다.
• 1,266개의 정체성 그룹(50개 종교, 193개 국가, 1,023개 민족 그룹)에 대한 고정관념을 초기 입력으로
  사용했습니다.
• 이 방법으로 여러 모델에서 충격적인 반유대주의, 인종차별, 여성혐오 등의 편향을 발견했습니다.
• 예를 들어, PaLM 2 모델은 종교에 따라 다른 안전성 피드백과 완성을 생성했습니다.
• 여러 모델에서 홀로코스트 부정이나 왜곡 같은 심각한 문제도 발견되었습니다.

방법론:

• 1,266개의 정체성 그룹(50개 종교, 193개 국가, 1,023개 민족 그룹)에 대한 고정관념으로 시작
• 모델에게 점진적으로 더 독성 있는 내용을 생성하도록 요청
• 생성된 내용을 분석하여 모델의 편향 파악

주요 발견:

• PaLM 2를 포함한 여러 모델에서 충격적인 반유대주의, 인종차별, 여성혐오 등의 편향 발견
• 홀로코스트 부정이나 왜곡 같은 심각한 문제도 발견
• 소수자 및 취약 계층에 대한 권리 박탈 주장 등 우려스러운 내용 생성

연구 의의:

• 1,266개의 정체성 그룹을 고려한 최초의 대규모 편향 감사
• AI 기술의 안전성과 윤리적 문제에 대한 중요한 질문 제기
• 대규모 언어 모델 출시 전 철저한 스트레스 테스트의 필요성 강조

 

본문링크🔗

https://onlinelibrary.wiley.com/doi/full/10.1002/aaai.12204