본문으로 이동

PaLM

한울위키, 우리 모두의 백과사전.
파일:Google PaLM Logo.svg
PaLM의 로고

PaLM(Pathways Language Model)은 Google AI에서 개발한 5400억 개의 파라미터 변환기 기반 대규모 언어 모델이다.[1] 연구원들은 또한 모델 규모의 효과를 테스트하기 위해 더 작은 버전의 PaLM, 80억 및 620억 파라미터 모델을 훈련했다.[2]

PaLM은 상식 추론, 산술 추론, 농담 설명, 코드 생성 및 번역을 포함한 광범위한 작업을 수행할 수 있다.[2][3][4][5] 생각 사슬 프롬프트와 결합했을 때 PaLM은 단어 문제 및 논리 기반 질문과 같은 여러 단계의 추론이 필요한 데이터 세트에서 훨씬 더 나은 성능을 달성했다.[1][2]

이 모델은 2022년 4월에 처음 발표되었으며 구글이 PaLM 및 기타 여러 기술용 API를 출시한 2023년 3월까지 비공개로 유지되었다.[6] API는 대중에게 공개되기 전에 대기자 명단에 등록한 제한된 수의 개발자가 먼저 사용할 수 있다.[7]

구글과 딥마인드는 의료 데이터에 대해 미세 조정되고 의료 질문 응답 벤치마크에서 이전 모델을 능가하는 Med-PaLM이라는 PaLM 540B 버전을 개발했다.[8][9] Med-PaLM은 미국 의료 면허 문제에서 처음으로 합격 점수를 얻었으며 객관식 및 개방형 질문에 모두 정확하게 답하는 것 외에도 추론을 제공하고 자체 응답을 평가할 수 있다.[10]

구글은 또한 비전 변환기를 사용하여 PaLM을 확장하여 로봇 조작에 사용할 수 있는 최첨단 비전 언어 모델인 PaLM-E를 만들었다.[11][12] 이 모델은 재교육이나 미세 조정 없이 경쟁적으로 로봇 작업을 수행할 수 있다.[13]

2023년 5월 구글은 연례 구글 I/O 기조연설에서 PaLM 2를 발표했다.[14] PaLM 2는 3조 6천억 개의 토큰으로 학습된 3,400억 개의 파라미터 모델로 보고되었다.[15]

같이 보기

각주

  1. ↑ 가 나 Narang, Sharan; Chowdhery, Aakanksha. “Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance” (영어). 《ai.googleblog.com》. 2023년 3월 17일에 확인함. 
  2. ↑ 가 나 다 Chowdhery, Aakanksha; Narang, Sharan; Devlin, Jacob 외 (2022). “PaLM: Scaling Language Modeling with Pathways”. arXiv:2204.02311 [cs.CL]. 
  3. ↑ Anadiotis, George (2022년 4월 12일). “Google sets the bar for AI language models with PaLM”. 《VentureBeat》. 2023년 3월 17일에 확인함. 
  4. ↑ Bastian, Matthias (2022년 4월 5일). “Google PaLM: Giant language AI can explain jokes”. 《the decoder》. 2023년 3월 17일에 확인함. 
  5. ↑ “Google: Why Is No One Talking About PaLM” (영어). 《seekingalpha.com》. 2022년 12월 12일. 2023년 3월 17일에 확인함. 
  6. ↑ Vincent, James (2023년 3월 14일). “Google opens up its AI language model PaLM to challenge OpenAI and GPT-3”. 《The Verge》. 2023년 3월 17일에 확인함. 
  7. ↑ Huffman, Scott; Woodward, Josh. “PaLM API & MakerSuite: an approachable way to start prototyping and building generative AI applications” (영어). 2023년 3월 17일에 확인함. 
  8. ↑ Singhal, Karan; Azizi, Shekoofeh; Tu, Tao 외 (2022). “Large Language Models Encode Clinical Knowledge”. arXiv:2212.13138 [cs.CL]. 
  9. ↑ “MedPaLM: New Chatbots Will Soon Be Better Than Waiting For A Doctor”. 《The Medical Futurist》. 2023년 1월 17일. 2023년 3월 17일에 확인함. 
  10. ↑ Matias, Yossi; Corrado, Greg (2023년 3월 14일). “Our latest health AI research updates” (미국 영어). 《Google》. 2023년 3월 17일에 확인함. 
  11. ↑ Driess, Danny; Xia, Fei; Sajjadi, Mehdi S. M. 외 (2023). “PaLM-E: An Embodied Multimodal Language Model”. arXiv:2303.03378 [cs.LG]. 
  12. ↑ Driess, Danny; Florence, Pete. “PaLM-E: An embodied multimodal language model” (영어). 《ai.googleblog.com》. 2023년 3월 17일에 확인함. 
  13. ↑ Edwards, Benj (2023년 3월 7일). “Google's PaLM-E is a generalist robot brain that takes commands” (미국 영어). 《Ars Technica》. 2023년 3월 17일에 확인함. 
  14. ↑ Lardinois, Frederic (2023년 5월 10일). “Google launches PaLM 2, its next-gen large language model”. 《TechCrunch》. 2023년 5월 10일에 원본 문서에서 보존된 문서. 2023년 5월 10일에 확인함. 
  15. ↑ Elias, Jennifer (2023년 5월 16일). “Google's newest A.I. model uses nearly five times more text data for training than its predecessor”. 《CNBC》. 2023년 5월 18일에 확인함. 
원본 주소 "https://www.hanul.wiki/w/index.php?title=PaLM&oldid=1833934"