Що сталося
Korea Herald повідомило, що Міністерство науки та ІКТ Південної Кореї опублікувало детальні оцінки другого етапу свого модельного проекту Sovereign AI Foundation. SK Telecom посіла перше місце в загальному заліку з 70,6 балами, за нею йдуть Upstage з 69,9, LG AI Research Institute з 69 і Motif Technologies з 65,8.
Korea Herald повідомило, що 27 серпня Міністерство науки та ІКТ Південної Кореї опублікувало детальні оцінки другого етапу свого модельного проекту Sovereign AI Foundation. У звіті сказано, що міністерство оприлюднило результати після того, як Motif Technologies, яка була усунена на другому етапі, попросила їх, а інші команди, які увійшли до короткого списку, дали згоду. Джерело описало проект як спробу розвинути внутрішні можливості базової моделі та розширити екосистему ШІ Південної Кореї. У детальному релізі викладені загальні результати проекту та обставини, за яких ці оцінки стали публічними після запиту та згоди.
За даними The Korea Herald, SK Telecom отримав найвищу загальну оцінку, 70,6 балів зі 100. Upstage набрав 69,9, LG AI Research Institute — 69, а Motif Technologies — 65,8. Оцінка об’єднала базові оцінки вартістю 40 балів, експертну оцінку вартістю 35 балів і оцінки користувачів вартістю 25 балів. Компонент користувача включав професійних користувачів і представників громадськості. Ці цифри описують об’єднану оцінку, яка використовується для загального рейтингу, а не результат лише однієї категорії оцінювання.
У звіті говориться, що частина бенчмарку отримала 25 балів від Індексу штучного аналізу інтелекту та 15 балів від бенчмарку Національного агентства інформаційного суспільства. Motif Technologies посіла перше місце в частині AAII з 11,9 балами, випереджаючи Upstage з 9,4, SK Telecom з 8,8 і LG AI Research Institute з 7,8. У тесті NIA, який, за словами The Korea Herald, охоплював сім областей, включаючи можливості корейської мови та надійність, SK Telecom отримав 13,4 бала, Upstage — 13,3, за ним йдуть LG AI Research Institute — 12,8 і Motif Technologies — 12,7. Цифри компонентів показують, як порівняльну частину було розподілено між двома повідомленими джерелами.
Деталі джерела: koreaherald.com ↗
Чому це важливо
Результати надають загальне уявлення про те, як Південна Корея порівнює внутрішні зусилля штучного інтелекту за глобальними тестами, можливостями корейської мови, надійністю, експертною оцінкою та зручністю використання в реальному світі. Вони також показують, що загальний рейтинг суттєво різнився залежно від методу оцінювання.
Результати важливі, оскільки вони роблять підтримуване урядом порівняння південнокорейських проектів ШІ більш конкретним, ніж просте оголошення вибраних компаній. Акаунт Korea Herald показує, що провідна команда в загальному заліку була першою не в кожному компоненті. Motif очолив категорію глобальних тестів, LG AI Research Institute очолив експертну оцінку та громадську оцінку, а SK Telecom очолив оцінку професійних користувачів. Таким чином, загальний результат відображав об’єднану оцінку, а не єдиний контрольний результат.
Цей розкид ілюструє, як дизайн оцінювання може сформувати висновки щодо можливостей ШІ. Продуктивність моделі на міжнародному тесті, її корейська мова та результати надійності, експертні оцінки та практичне використання можуть вимірювати різні якості. Korea Herald повідомляє, що в експертній оцінці брали участь 10 зовнішніх експертів з промисловості, наукових кіл і науково-дослідних установ, тоді як 49 керівників стартапів ШІ взяли участь в оцінці професійних користувачів і 185 представників громадськості взяли участь у громадській оцінці. Різні категорії та групи учасників допомагають пояснити, чому результати компонентів не дали єдиного ідентичного рейтингу.
Для південнокорейської стратегії штучного інтелекту оцінки є основою для визначення того, яким внутрішнім системам буде приділено постійну увагу в рамках суверенної програми ШІ. У міністерстві The Korea Herald повідомили, що проект спрямований не просто на рейтингування команд або виключення учасників, а на заохочення якісного зростання та розширення екосистеми ШІ країни. Ця заявлена мета передбачає, що бали можуть використовуватися як зворотний зв’язок для розробки моделі та нарощування національних можливостей, а не лише як таблиця змагань. У звіті не встановлюється, чи є оцінювані системи широкодоступними, як вони порівнюються з провідними міжнародними моделями, чи бали передбачають продуктивність під час оперативного розгортання. Ці запитання без відповідей обмежують те, що можна зробити лише на основі рейтингу.
Інтерактивний механізм: як він насправді працює
Дослідіть технологію, що лежить в основі цієї розробки, в інтерактивному режимі.
Which component of an AI application is the machine-learning model itself?
Що дивитися далі
Міністерство заявило, що розгляне заперечення Motif Technologies і прийме остаточне рішення протягом 15 днів, повідомляє The Korea Herald. Наступними важливими подіями є результати цього перегляду, будь-які зміни в командах-учасницях проекту та майбутні шестимісячні перегляди цілей оцінки.
Найнегайнішою подією є відповідь міністерства на заперечення Motif Technologies. Korea Herald повідомила, що Motif раніше оскаржував результати другого етапу, і що міністерство розгляне заперечення відповідно до встановлених процедур, а остаточне рішення очікується протягом 15 днів. Джерело не повідомляє, який засіб правового захисту шукає Motif і чи може заперечення змінити рейтинг або учасників проекту. Таким чином, огляд є наступною точкою, коли результати другої фази можуть отримати офіційне оновлення.
Міністерство також повідомило, що цілі розвитку проекту переглядатимуться кожні шість місяців як «рухомі цілі», що відображає швидкі темпи прогресу ШІ, повідомляє The Korea Herald. Таким чином, майбутні перегляди можуть змінити баланс між еталонною продуктивністю, експертним оглядом і досвідом користувача. У звіті сказано, що критерії та методологію оцінювання було остаточно визначено після попередньої консультації з командами, які увійшли до короткого списку, але він не містить повних тестових запитань, версій моделі, навчальних даних, правил підрахунку балів чи коментарів окремих оцінювачів. Ці пропуски залишають важливі деталі для подальшого звітування або майбутніх змін.
Читачі повинні стежити за доказами того, чи ці оцінки перетворюються на практичне суспільне чи комерційне використання. У звіті Korea Herald наводяться оцінки та підрахунки учасників, але він не перевіряє основоположні дані міністерства чи оцінює самі моделі. Він також не визначає зобов’язання щодо розгортання, витрати, тестування безпеки, обчислювальні ресурси, умови ліцензування чи умови доступу. Ці деталі будуть важливими для оцінки того, чи проект представляє довготривалий суверенний потенціал штучного інтелекту чи насамперед державну оцінку. Оцінки встановлюють звітне порівняння, тоді як практичне використання потребує доказів, окрім результатів оцінювання.