학습의 숨겨진 기하학: 신경망은 생각이 비슷합니다

펜 엔지니어들은 오늘날 인공지능 혁명을 주도하는 시스템인 신경망이 어떻게 학습하는지에 대한 예상치 못한 패턴을 발견했으며, 인공지능에서 가장 중요한 해결되지 않은 질문 중 하나인 이러한 방법이 왜 그렇게 잘 작동하는지에 대한 답을 제시했습니다.

신경 네트워크는 생물학적 뉴런에서 영감을 받아 서로의 연결을 조정하는 뉴런처럼 출력을 조절하는 무게나 매개 변수를 반복적으로 작은 수정을 통해 데이터를 받아들이고 스스로 훈련하는 컴퓨터 프로그램입니다. 최종 결과는 네트워크가 이전에 볼 수 없었던 데이터를 예측할 수 있는 모델입니다. 오늘날 신경 네트워크는 의학에서 우주론에 이르기까지 거의 모든 과학과 공학 분야에서 사용되고 있으며, 잠재적으로 질병에 걸릴 수 있는 세포를 찾고 새로운 은하를 발견합니다.

미국 국립과학원 회보(PNAS)에 게재된 새로운 논문에서, 전기 및 시스템 공학(ESE) 조교수이자 일반 로봇, 자동화, 감지 및 인식(GRASP) 연구소의 핵심 교수인 프라틱 차우다리(Pratik Chaudhari)와 공동 저자인 코넬 대학의 제임스 길버트 화이트 물리 과학 교수인 제임스 세스나(James Gilbert White)는 신경망이 분류할 이미지와 함께 제시될 때 설계, 크기 또는 훈련 레시피에 관계없이 무지에서 진실로 동일한 경로를 따른다는 것을 보여줍니다.

펜실베니아 대학교 예술과학대학의 응용수학 및 계산과학 박사과정 학생인 지알린 마오(Jialin Mao)가 이 논문의 주저자입니다.

“그 일이 고양이와 개의 사진을 식별하는 것이라고 가정해봅시다”라고 Chaudhari는 말합니다. “여러분은 그것들을 분류하기 위해 수염을 사용할 수도 있지만, 다른 사람은 귀 모양을 사용할 수도 있습니다 — 여러분은 다른 네트워크들이 이미지의 픽셀들을 다른 방식으로 사용하고, 일부 네트워크들은 확실히 다른 네트워크들보다 더 나은 결과를 얻을 수 있지만, 그들 모두가 학습하는 방법에는 매우 강력한 공통점이 있습니다. 이것이 그 결과를 매우 놀랍게 만드는 것입니다.”

그 결과는 신경망의 내부 작동을 밝힐 뿐만 아니라, 적은 비용으로 이미지를 몇 분의 시간 안에 분류할 수 있는 매우 효율적인 알고리즘의 개발 가능성을 보여줍니다. 실제로, 인공지능과 관련된 가장 높은 비용 중 하나는 신경망을 개발하는 데 필요한 엄청난 계산 능력입니다. “이러한 결과는 신경망을 훈련시킬 수 있는 새로운 방법이 존재할 수 있다는 것을 암시합니다”라고 Chaudhari는 말합니다.

이 새로운 방법의 가능성을 설명하기 위해, Chaudhari는 지도에 노선도를 그리려고 노력하는 것으로 네트워크를 상상할 것을 제안합니다. “두 가지 점을 상상해 봅시다,”라고 그는 말합니다. “네트워크가 올바른 레이블에 대해 아무것도 모르는 무지와 모든 이미지를 올바르게 분류할 수 있는 진실. 네트워크를 훈련하는 것은 수십억 차원의 확률 공간에서 무지와 진실 사이의 경로를 차트화하는 것에 해당합니다. 그러나 다른 네트워크가 같은 경로를 택하고, 이 경로는 3차원, 4차원 또는 5차원에 가깝다는 것이 밝혀졌습니다.”

다시 말해서, 신경망의 놀라운 복잡성에도 불구하고, AI 시스템의 기본 작업 중 하나인 이미지를 분류하는 것은 그 복잡성의 극히 일부만을 요구합니다. “이것은 실제로 네트워크 설계, 크기 또는 훈련 레시피의 세부 사항이 우리가 생각하는 것보다 덜 중요하다는 증거입니다”라고 Chaudhari는 말합니다.

이러한 통찰력에 도달하기 위해 Chaudhari와 Sethna는 기하학과 통계학을 결합하는 분야인 정보 기하학에서 도구를 빌렸습니다. 각 네트워크를 확률 분포로 취급함으로써 연구자들은 네트워크 간에 예상치 못한 근본적인 유사성을 드러내며 진정한 비교를 할 수 있었습니다. “고차원 공간의 특성 때문에 모든 점은 서로 멀리 떨어져 있습니다”라고 Chaudhari는 말합니다. “우리는 네트워크의 차이점에 대한 더 깨끗한 사진을 제공하는 더 정교한 도구를 개발했습니다.”

연구팀은 매우 다양한 기술을 사용하여 다층 퍼셉트론, 컨볼루션 및 잔차 네트워크, ChatGPT과 같은 시스템의 핵심에 있는 트랜스포머 등 다양한 종류의 수십만 개의 네트워크를 훈련시켰습니다. “그러자 이 아름다운 그림이 나타났습니다,” 라고 Chaudhari가 말했습니다. “이 네트워크의 출력 확률은 거대한 공간에서 이 얇은 다양체 위에서 깔끔하게 함께 모여 있었습니다.” 다시 말해서, 네트워크의 학습을 나타내는 경로가 서로 정렬되어 이미지를 동일한 방식으로 분류하는 방법을 배운다는 것을 보여줍니다.

Chaudhari는 이 놀라운 현상에 대해 두 가지 잠재적인 설명을 제공합니다: 첫째, 신경망은 무작위로 배열된 픽셀에 대해 결코 훈련되지 않습니다. “소금과 후추의 소음을 상상해 보세요”라고 Chaudhari는 말합니다. “그것은 분명히 이미지이지만 매우 흥미로운 것은 아닙니다. 사람과 동물과 같은 실제 물체의 이미지는 모든 가능한 이미지의 작고 작은 부분 집합입니다.” 다르게 말하면, 신경망이 결코 고려할 필요가 없는 많은 가능한 이미지가 있기 때문에 신경망에게 인간에게 중요한 이미지를 분류하도록 요청하는 것은 보이는 것보다 쉽습니다.

둘째, 신경망이 사용하는 라벨은 다소 특별합니다. 인간은 개와 고양이와 같이 사물을 넓은 범주로 분류하고 모든 종류의 동물에 대해 별도의 단어를 가지고 있지 않습니다. “만약 네트워크가 예측을 하기 위해 모든 픽셀을 사용해야 한다면, 네트워크는 많은, 많은 다른 방법을 알아냈을 것입니다.”라고 Chaudhari는 말합니다. 그러나 예를 들어, 고양이와 개를 구별하는 특징들은 그 자체로 저차원입니다. “우리는 이러한 네트워크가 동일한 관련 특징을 찾고 있다고 믿습니다”라고 Chaudhari는 덧붙이며, 아마도 귀, 눈, 표식 등과 같은 공통점을 확인함으로써 가능합니다.

단 몇 번의 입력만으로 이미지를 분류하는 신경망을 훈련시키는 데 필요한 경로를 지속적으로 찾을 수 있는 알고리즘을 발견하는 것은 해결되지 않은 과제입니다. “이것이 바로 10억 달러의 문제입니다,” 라고 Chaudhari가 말합니다. “우리가 신경망을 저렴하게 훈련시킬 수 있을까요? 이 논문은 우리가 할 수 있을지도 모른다는 증거를 제공합니다. 우리는 단지 방법을 모릅니다.”

이 연구는 펜실베니아 대학교 공학 응용 과학 대학과 코넬 대학에서 수행되었습니다. 그것은 국립 과학 재단, 국립 보건원, 해군 연구소, 에릭과 웬디 슈미트 AI의 박사 후 연구원 자격증과 아마존 웹 서비스의 클라우드 컴퓨팅 크레딧의 보조금에 의해 지원되었습니다.

다른 공동저자로는 펜실베이니아 대학교 예술과학대학의 라훌 라메쉬, 펜실베이니아 대학교 예술과학대학의 루빙 양, 코넬 대학교의 이테이 그리니아스티와 한캉 테오, 브리검 영 대학교의 마크 K. 트랜스트럼 등이 있습니다.

Leave a Comment