최근 음악계에는 큰 파장이 일었다. 20대 지휘자 ‘클라우스 메켈레’가 미국 대표 교향악단 ‘시카고 심포니 오케스트라’의 리더로 뽑힌 것이다. 지금까지 시카고 심포니의 지휘자는 대부분 음악계에서 오래 활동한 거장들이었다. 133년 전통의 시카고 심포니를 이끄는 리더에 20대가 선정되었다는 소식은 충격과 신선 그 자체였다.
젊은 리더들은 인공지능 업계에서도 화두다. 그들은 열정과 최신 기술로 무장한 채 다른 기업들과 때론 경쟁을, 때론 협력을 이어가고 있다.
Scale AI 창업자 : 알렉산더왕 (Alexandr Wang)
요즘 핫한 인물 Scale AI 창업자 알렉산더 왕 (Alexandr Wang)이다. 2024년 3월 현재 130억 달러에 달하는 가치 평가를 받는 Scale AI는 인공지능 데이터 관련 기업이다. OpenAI가 GPT 3.5의 미세 조정 (fine tuning)을 위해 우선 파트너 (preferred partner)로 선정한 주인공이다. 미국 국방부가 군사 목적 생성형 인공지능의 테스트와 평가를 담당하는 업체로 꼽기도 했다.
일반 기업이 LLM (Large Language Model)을 고도화하는 과정에는 고품질의 라벨링 데이터가 중요한데 Scale AI가 이런 데이터를 제공한다. 기업의 기밀 데이터를 사용해 모델을 미세 조정하는 경우에도 보안과 프라이버시 보호가 상당히 중요하다. Scale AI는 고객들의 데이터를 안전하게 처리하고 보호할 수 있는 체계도 제공한다. 데이터 품질, 다양성, 보안성 등 인공지능 파이프라인에 필요한 기능을 Scale AI가 담당하는 것이다.
알렉산더가 Scale AI를 창업하게 된 배경에는 그의 대학 시절 에피소드가 있다. MIT 재학생이었던 알렉산더는 자신의 룸메이트가 기숙사 냉장고에서 자신의 요거트를 훔쳐가는 것으로 의심되는 상황에 큰 스트레스를 받았다. 그래서 냉장고에 카메라를 설치해 요거트가 사라지면 알람을 주도록 하고 싶었다. 매우 간단한 인공지능 시스템이었던 것이다.
그런데 이 인공지능 시스템 개발 과정은 순탄하지 않았다. 요거트가 어떻게 생겼는지 시스템에 알려줘야 했으며, 요거트처럼 포장된 비슷한 외관의 물건이 많아 요거트가 아닌 물건은 어떤 외관이어야 하는지, 냉장고 어느 칸에 요거트가 위치하고 있는지 등을 시스템에 알려줄 필요가 있었다.
알렉산더는 이 간단한 일을 자동화하는데 예상외로 상당한 노력이 필요하다는 것을 배웠다. Scale AI가 전문성을 보이고 있는 ‘세부 라벨링’의 중요함을 이 과정에서 깨달았다. 라벨링이 잘못되면 이미지 인식과 그에 따른 판단이 부정확하게 된다는 기술적, 사업적 문제점을 찾은 것이다.
1997년생인 알렉산더는 어릴 때부터 실력이 남달랐다. 10대 때 이미 Q&A 플랫폼 Quora에서 소프트웨어 엔지니어로 일했다. MIT에서 컴퓨터공학과 수학을 전공하던 중 2016년 ScaleAI를 창업하기 위해 학업을 중단했다. 성과를 인정받아 알렉산더는 2021년 Forbes 매거진이 Enterprise Technology 분야 젊은 사업가 30인에 꼽혔다. 2023년 타임 (Time)이 선정한 인공지능 분야 주요 인물 100인 중 한 사람으로 언급되기도 했다.
Anthropic 창업자 : 다리오 아모데이 (Dario Amodei)
두 번째 주인공은 Anthropic 창업자 다리오 아모데이(Dario Amodei)이다. 다리오는 프린스턴 대학교에서 물리학으로 학사 학위를, 스탠퍼드 대학교에서 물리학 박사 학위를 취득했다. 입자 물리학과 우주론이 그의 주요 연구 분야였는데 졸업 이후 인공지능으로 방향을 바꿔 바이두와 Google Brain을 거쳐 OpenAI의 Safety팀을 이끌었다.
다리오 아모데이가 2016년 Future of Life Institute와 가진 인터뷰에 따르면 그는 구글에 재직하며 인공지능 모델 중 주변 환경과의 상호 작용이 중요한 강화학습 (reinforcement learning)의 안전성에 흥미를 느꼈다고 한다. 일반적으로 강화학습은 로보틱스, 자율주행차 등에 쓰이며 구글이 데이터 센터의 전력 운영에도 활용하는 학습법이다. 강화 학습이 물리적 상호 작용과 관련 있는 디바이스 혹은 시스템 구축에 쓰이므로 다리오는 안전하고 신뢰할만한 성능을 보이는 것이 중요할 뿐 아니라 부정적 이벤트를 예방하는 방법까지도 고민하게 되었다.
*Future of Life Institute는 테크 기술이 가질 수 있는 위험성을 알리고 관련 프로젝트를 후원하는 기관. 인공지능 기업과 연구소를 대상으로 고성능 인공지능 개발 실험을 6개월간 멈추고 안정성을 리뷰하는 시간을 갖자는 내용의 ‘Pause Giant AI Experiments: An Open Letter’라는 제목의 성명을 발표한 곳. 일론 머스크, 스티브 워즈니악, 에반 샤프 등이 이 성명에 공개 서명하기도.
인공지능의 안정성에 대한 다리오의 관심과 열정은 ‘Concrete Problems in AI Safety’라는 제목의 논문으로 구체화되었다. 이 논문은 청소 로봇의 예를 통해 인공지능 시스템의 부작용 예방책을 고민하는데 필요한 5가지 포인트를 예시 질문과 함께 다음과 같이 나열하고 있다.
- 부작용 방지 (Avoiding negative side effects)
- 청소 로봇이 주어진 목표를 달성하면서 동시에 주변 상황에 부정적인 영향을 끼치지 않도록 할 것인가?
- 청소 로봇이 주어진 목표를 달성하면서 동시에 주변 상황에 부정적인 영향을 끼치지 않도록 할 것인가?
- 보상 해킹 방지 (Avoiding regard hacking)
- 청소 로봇이 청소를 잘하면 보상을 받게 되어 있다. 그런데 청소 로봇이 보상을 더 잘, 더 자주 받기 위해 보상을 주는 체계 자체를 속이거나 해킹하게 되면 어떻게 할 것인가?
- 청소 로봇이 청소를 잘하면 보상을 받게 되어 있다. 그런데 청소 로봇이 보상을 더 잘, 더 자주 받기 위해 보상을 주는 체계 자체를 속이거나 해킹하게 되면 어떻게 할 것인가?
- 확장성 있는 감독 (Scalable oversight)
- 정보가 부족한 상황에서도 어떻게 하면 청소 로봇이 주어진 목표 즉 깨끗한 청소를 할 수 있도록 할 것인가?
- 정보가 부족한 상황에서도 어떻게 하면 청소 로봇이 주어진 목표 즉 깨끗한 청소를 할 수 있도록 할 것인가?
- 안전한 탐색 (Safe exploration)
- 청소 로봇이 부정적 결과를 초래할 수 있는 탐색을 하지 않도록 어떻게 만들 수 있을까?
- 예를 들어 청소 로봇은 물걸레질을 성공적으로 하기 위한 안전한 탐색을 해야 하지만 전기 콘센트에 젖은 물걸레를 넣는 것은 매우 위험한 탐색이다.
- Distributional shift 현상에 대한 강인함 (Robustness to distributional shift)
- 훈련 데이터와 시험 데이터의 분포 차이로 인해 시험 데이터의 성능이 낮아지는 이른바 distributional shift 현상을 고려할 때, 청소 로봇이 어떻게 하면 훈련받은 환경과 다른 환경에서 어떻게 하면 안전한 성능을 보일 것인가?
다리오는 인공지능 모델의 안정성뿐 아니라 ‘Deep Speech 2: End-to-End Speech Recognition in English and Mandarin’라는 제목의 논문을 통해 음성 인식 모델 성능을 향상하는 연구를 리드했다. 제목에서 드러나듯 영어와 만다린어 발화 (speech)를 인식하는 딥러닝 모델에 대한 이 연구는 Deep Speech 2라는 이름의 end-to-end 모델 즉 단일 뉴럴 네트워크 아키텍처를 제안했다.
End-to-end 모델은 특정 분야에 대한 데이터 없이 학습 데이터 자체만으로 관련 시스템 구축을 위한 학습이 가능하지만 그만큼 특정 분야 지식을 학습하기 위해서는 다량의 데이터가 필요하다. 그럼에도 다리오의 연구는 소음이 많은 환경, 사투리 및 다른 언어를 포함한 다양한 유형의 발화를 처리할 수 있었으며 HPC (High Performance Computing) 기술을 적용해, 기존 시스템보다 7배 빠른 속도 향상을 입증했다. 이는 인간과 거의 비슷한 수준의 인식 성능을 보여주는 결과이다.
인공지능의 안정성과 성능을 동시에 고려하는 다리오의 관심은 2021년 Anthropic 창업에도 그대로 이어졌다. 최근 Claude 3.5 Sonnet을 공개한 Anthropic은 뛰어난 성능과 안전한 인공지능 시스템 개발을 목표로 하는데, 특히 해석과 제어가 가능하며 신뢰할 수 있는 인공지능 모델을 목표로 하고 있다.
그래서 업계에서는 OpenAI와 견줄 수 있는 몇 안 되는 기업으로 주목하고 있다. Anthropic은 기술력과 가능성을 인정받아 2023년 9월, 아마존으로부터 40억 달러 투자를 이끌었으며, 아마존 웹서비스(AWS)를 주요 클라우드 제공업체로 사용하고 AWS 고객들에게 Anthropic의 인공지능 모델을 제공하게 되었다. 구글로부터 약 20억 달러 펀딩을 받는 등 무서운 성장세를 보여주고 있다.
Hugging Face : 토마스 울프 (Thomas Wolf)
세 번째 주목할 인물은 허깅 페이스 (Hugging Face)의 공동 창업자이자 최고 과학자 (Chief Science Officer) 토마스 울프 (Thomas Wolf)다.
‘The AI community building the future’라는 슬로건과 귀여운 스마일 로고로 유명한 허깅 페이스는 인공지능 관련 오픈소스와 데이터를 기반으로 사용자가 머신러닝 모델을 구축, 훈련, 배포할 수 있는 환경을 제공한다. 허깅 페이스는 인공지능 엔지니어들이 모여 아이디어를 공유하는 커뮤니티이자 저장소이다.
허깅 페이스의 브레인이라 할 수 있는 토마스는 컴퓨터 과학을 전공하지 않았다. 토마스는 프랑스 소르본 대학에서 양자 통계 물리학 박사 학위를 받았으며, 초전도 물질에 대한 연구를 주로 했다. 이후 법학으로 커리어를 전환해 법학 학위를 받고 5년 동안 특허 변호사로 일했다. 그는 2015년경 변호사로 일하며 많은 스타트업들을 만났는데 대부분 딥러닝 작업을 하고 있다는 사실을 발견했다. 딥러닝에는 자신이 전공했던 물리학에 쓰이는 수학과 비슷한 개념이 깔려 있음도 깨닫게 되었다.
다소 특이한 경력을 거쳐 토마스는 딥러닝에 관심을 갖게 되었고 변호사에서 인공지능 분야로 커리어 전환을 하게 된다. 2019년부터 자연어 처리 연구를 해오고 있는데 그의 Google Scholar 페이지와 개인 홈페이지 (https://thomwolf.io)에서 역대 논문과 인용 지수를 볼 수 있다.
토마스가 허깅 페이스에서 이룬 대표적 성과는 트랜스포머 (Transformers)를 들 수 있다. 허깅 페이스의 트랜스포머 라이브러리는 자연어 처리 분야에서 혁신적인 역할을 하고 있다. 이 라이브러리는 다양한 트랜스포머 기반 모델 (예: BERT, GPT-2, GPT-3, T5, XLNet 등)을 쉽게 사용할 수 있도록 지원하고 있다. 트랜스포머에 대한 자세한 한국어 정보는 여기서 볼 수 있다.
토마스와 허깅 페이스는 인공지능 연구 및 개발에 있어 오픈소스 접근 방식의 중요성을 강조하며, 트랜스포머를 비롯한 다양한 모델과 도구를 제공하고 있다. 이러한 노력은 인공지능 연구자와 엔지니어가 최신 인공지능 기술에 쉽게 접근하고 활용할 수 있도록 함으로써 인공지능 분야 전체의 발전에 큰 기여를 하고 있다.
테크니들 인사이트
지금까지 데이터, 모델, 오픈소스 등 각 인공지능 파이프라인에서 괄목할만한 성과를 만들어 내고 있는 젊은 리더들을 살펴봤다. 기술뿐 아니라 비즈니스, 연구 등의 분야에서 균형감 있는 활약을 보여주는 그들의 집념이 인상적이다. 물리학, 법학 등 다양한 학문적 배경을 하고 있다는 점도 눈길을 끈다. 생성형 AI 등 최근의 인공지능 기술은 무서운 발전 속도를 보여주고 있는 만큼 젊은 리더들의 역할이 중요하다.
구글 회장을 지낸 에릭 슈미트가 세운 자선 단체 Schmidt Futures도 뛰어난 젊은 인공지능 학자를 뽑은 ‘AI2050 Early Career Fellows’를 발표했다. 이 프로그램은 세계 주요 대학에서 사회에 긍정적인 영향을 줄 수 있는 인공지능 연구를 수행하는 젊은 학자들을 지원한다. 다음 링크에서 Schmidt Futures가 선정한 그들의 자세한 정보를 볼 수 있다. https://www.schmidtfutures.org/schmidt-futures-announces-first-cohort-of-ai2050-early-career-fellows/
참고자료
- https://scale.com/about
- https://openai.com/blog/openai-partners-with-scale-to-provide-support-for-enterprises-fine-tuning-models
- https://www.anthropic.com/company
- Amodei, D., Olah, C., Steinhardt, J., Christiano, P., Schulman, J., & Mané, D. (2016). Concrete problems in AI safety. arXiv preprint arXiv:1606.06565.
- Amodei, D., Ananthanarayanan, S., Anubhai, R., Bai, J., Battenberg, E., Case, C., … & Zhu, Z. (2016, June). Deep speech 2: End-to-end speech recognition in english and mandarin. In International conference on machine learning(pp. 173-182). PMLR.
- https://sayakpaul.medium.com/an-interview-with-thomas-wolf-chief-science-officer-at-hugging-face-ee585f782997
- https://thomwolf.io
- https://www.schmidtfutures.org/schmidt-futures-announces-first-cohort-of-ai2050-early-career-fellows/