AI 산업 발달로 인해 사실상 폐기된 이론
페이지 정보
본문
몇년전(이라고 해봤자 그리 멀지도 않음)에 AI는 학습을 해야 성능이 올라가는데 더이상 학습할 데이터가 없어서 AI 발전이 멈출거라는 공포가 한때 대두된적이 있었음.
여기에 AI가 출력한 데이터를 AI가 재 학습할 경우 모델의 성능이 하락하는 모델 붕괴 이론까지 겹쳐서 AI 산업의 발전이 멈출거라는 공포가 업계예 잠시 대두되었음.
여기까지는 맞음.실제로 그랬으니까.
그런데 사람들이 AI를 연구하다보니 깨달은 거임.AI가 출력하는 답변 그 자체가 모델 붕괴를 유발하는게 아니라 그저 AI 데이터중 헛소리 하는 데이터가 쎃이니 문제인거지 AI 출력 그자체가 문제가 아니라는걸 알아낸거임.그리고 헛소리,병신같은 데이터는 사실 사람이 만든거라도 해서 없는 게 아님.
그로 인한 결론은 "AI가 출력한 데이터를 사람이 직접 선별해서 재학습시키면 데이터셋 고갈문제도 해결하고 모델 붕괴도 일어나지않는다는 거임"
AI가 묘하게 생물학적 유사성이 있으니 비유하자면 '생물끼리 근친하면 유전병 확률이 기하급수적으로 올라간다.하지만 애초부터 유전병 인자를 제거해놓으면 아무리 근친시켜도 유전병 자체가 발병하지않는다'라는 사실을 생각해내면 됨.
오히려 AI가 출력한 고급데이터를 선별해 재학습시키면 더 가볍고 빠른 모델로도 우수한 성능을 낼수 있다는 사실이 밝혀지면서 너도나도 증류경쟁에 뛰어들고 있음.중국뿐 아니라 미국 AI 기업들도 프론티어가 아니라 무료 서비스등에 이용하는 가벼운 경량 모델은 프론티어 모델의 출력을 증류해서 만든거임.
LLM뿐 아니라 테슬라 FSD LITE같은 것도 증류 데이터를 사용함으로써 HW3의 낮은 스펙을 극복해냈음.
결론:AI 출력물을 재학습하는 것도 사람의 적절한 개입이 있으면 모델 붕괴가 일어나지않음.지식 업데이트 하자.
- 이전글6.25관련 피난민 썰.jpg 26.07.31
- 다음글고전 애니 캐릭터 변천사 26.07.31
댓글목록
빅치트맨님의 댓글
빅치트맨 작성일애초에 사람이 개입해야하면 AI쓸바에 사람쓰는게 저렴한거아님?
할라당님의 댓글
할라당 작성일모델 학습에 필요한 데이터 선별에만 사람이 개입하는 거임.
ravvit님의 댓글
ravvit 작성일몇 년이 뭐야 아직도 저거 인용해 쓰는 친구들 많음 ㅋㅋ
사촌간불알빨기님의 댓글
사촌간불알빨기 작성일AI야 쉽고 간편하게 암컷타락절정하는 방법을 알려줘