Microsoft 피
Microsoft Phi는 신중한 데이터 큐레이션이 무차별 대입 규모에 맞먹을 수 있음을 입증하는 소규모 언어 모델 제품군입니다.
개요
교과서 품질과 합성 데이터를 학습함으로써 작은 Phi 모델은 매개변수 수를 훨씬 뛰어넘는 성능을 발휘합니다.
심층 분석
Phi는 Microsoft 13억 매개변수 코딩 모델인 Phi-1을 통해 2023년에 출시된 Research의 소규모 언어 모델(SLM) 라인입니다. 논문 제목 'Textbooks Are All You Need'에 담긴 지침 논제는 원본 크기보다 데이터 품질이 더 중요하다는 것입니다. Microsoft는 전체 웹을 스크랩하는 대신 선별된 교과서 같은 콘텐츠와 GPT-4에서 생성된 합성 연습에 대해 Phi를 교육했습니다. 후속 릴리스에서는 Phi-2(2.7B), Phi-3(3.8B '미니'에서 14B '중형'까지), 비전과 전문가 혼합 변형을 갖춘 Phi-3.5 등 이 아이디어를 확장했습니다. 크기에도 불구하고 Phi 모델은 추론 및 수학 벤치마크에서 훨씬 더 큰 경쟁업체와 동등하거나 능가하며 노트북, 휴대폰 및 엣지 장치에서 효율적으로 실행됩니다. 모델은 허용 라이센스에 따라 공개적으로 출시됩니다.
기술적 통찰력
Phi의 장점은 합성 데이터 생성 및 필터링에서 비롯됩니다. Microsoft는 GPT-4와 같은 더 큰 모델을 사용하여 깨끗하고 교육적으로 구조화된 예제를 작성하고 웹 텍스트의 '교육적 가치'에 점수를 매기고 신호가 높은 문서만 유지합니다. 이 조밀하고 노이즈가 낮은 훈련 혼합을 통해 3.8B 모델은 일반적으로 수백억 개의 매개변수가 필요한 추론 패턴을 학습할 수 있습니다. Phi-3-mini는 4K 또는 128K 컨텍스트 창과 Llama와 유사한 변환기 디코더 아키텍처를 사용하므로 기존 도구를 사용하여 쉽게 배포할 수 있습니다.
전략적 영향
벤더 전략
공급업체 로드맵은 팀이 다음에 구축할 수 있는 기능에 영향을 미칩니다.
비용 및 예산
상업적 조건과 배포 옵션은 장기적인 비용과 위험에 영향을 미칩니다.
위험과 안전
회사 인센티브는 제품 기본값, 안전 태세 및 개방성을 형성합니다.
Microsoft Phi의 미래
Microsoft는 대기 시간, 개인 정보 보호 및 비용이 큰 클라우드를 배제하는 온디바이스 및 에이전트 용도로 Phi를 추진하고 있습니다. 더 긴밀한 Windows 및 Copilot+ PC 통합, 더 강력한 다중 모드(비전 및 오디오) 변형, 토큰당 일부 매개변수만 활성화하는 지속적인 전문가 혼합 설계를 기대합니다. 스마트 데이터가 엄청난 규모를 능가한다는 Phi의 광범위한 추세는 특히 작고 유능한 모델이 승리하는 전화, IoT 및 오프라인 시나리오에 대해 전체 업계에서 모델을 교육하는 방식을 재편하고 있습니다.
실제 구현
클라우드로 코드를 보내지 않고 노트북에서 직접 오프라인 코딩 도우미 실행
낮은 대기 시간이 중요한 Copilot+ PC 및 모바일 앱의 온디바이스 기능 강화
메모리가 제한되고 인터넷이 없는 IoT 또는 에지 하드웨어에 추론 모델 내장
연구원들은 도메인별 챗봇을 위한 소규모 공개 라이센스 Phi 모델을 저렴하게 미세 조정하고 있습니다.
위험 및 가드레일
출시 발표는 실제 생산 워크플로의 안정성보다 앞설 수 있습니다.
API 가격 책정이나 정책 변경으로 인해 하룻밤 사이에 가정이 깨질 수 있습니다.
단일 공급업체 종속성은 종속 및 마이그레이션 비용을 증가시킵니다.
구현 로드맵
자체 작업과 데이터 세트를 사용하여 공급자를 평가합니다.
통합하기 전에 개인정보 보호, 보안, 법적 약관을 검토하세요.
모델이나 공급업체 전반에 걸쳐 대체 계획을 유지합니다.
로드맵 변경으로 인해 팀이 놀라지 않도록 릴리스 노트를 모니터링하세요.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Microsoft Phi quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
Microsoft AI
자주 묻는 질문
Microsoft 파이란 무엇입니까?
Microsoft Phi는 신중한 데이터 큐레이션이 무차별 대입 규모에 맞먹을 수 있음을 입증하는 소규모 언어 모델 제품군입니다. 교과서 품질과 합성 데이터를 학습함으로써 작은 Phi 모델은 매개변수 수를 훨씬 뛰어넘는 성능을 발휘합니다.
유명한 논문 제목에 담긴 Phi 모델의 핵심 논제는 무엇입니까?
Phi-1 논문은 '교과서가 필요한 모든 것'이라는 제목으로 고품질의 엄선된 데이터가 규모보다 더 중요하다고 주장했습니다.
Phi-3-mini에는 대략 몇 개의 매개변수가 있습니까?
Phi-3-mini는 약 38억 개의 매개변수를 갖고 있어 휴대폰에서 실행할 수 있을 만큼 작지만 여전히 강력한 성능을 발휘합니다.
Microsoft는 Phi의 훈련 데이터 중 상당 부분을 어떻게 생성합니까?
Microsoft는 GPT-4와 같은 강력한 모델을 사용하여 깔끔한 합성 연습문제를 생성하고 교육적 가치를 위해 웹 텍스트를 필터링합니다.
Phi에 사용된 'SLM'은 어떤 카테고리의 모델을 의미합니까?
Phi는 SLM(Small Language Model)으로 설명되며 작은 크기의 기능을 강조합니다.
Phi의 작은 크기가 갖는 주요 실용적인 이점은 무엇입니까?
Phi 모델은 컴팩트하기 때문에 소비자 하드웨어에서 로컬로 실행될 수 있어 개인 정보 보호, 짧은 대기 시간 및 오프라인 사용이 가능합니다.