Що є GSM8K?

Еталонний тест проблем програмування на Python, який використовується для вимірювання правильності генерації коду за допомогою модульних тестів.

Довірені еталонні мітки, які використовуються для навчання або оцінки вихідних даних моделі.

Мітки або метадані, додані людиною, використовуються для навчання або оцінки моделей машинного навчання.

Широке поле побудови систем, які виконують завдання, що вимагають розпізнавання шаблонів, аргументації, мови або прийняття рішень.

Стандартизований тест або набір даних, який використовується для вимірювання та порівняння продуктивності моделі.

Структура графа сутностей і зв’язків, які використовуються для міркувань або пошуку.