Объявляется сбор данных для создания большой модели казахского языка — Kaz LLM

В целях создания и запуска большой модели казахского языка АО «Национальные информационные технологии» приступает к использованию сервиса от лидера в области машинного обучения — Hugging Face. На базе платформы будет организован открытый сбор данных, к которому может присоединиться профессиональное IT-сообщество Казахстана и держатели открытых данных.

Hugging Face — ведущая платформа, предназначенная для обмена исследованиями в области машинного обучения, на базе которой пользователи могут разрабатывать инструменты и создавать ИИ-модели. 

Создание современной языковой модели казахского языка — это важный шаг к укреплению цифровой независимости Казахстана и продвижению национальной культуры в глобальном цифровом пространстве. Первым этапом к созданию любой языковой модели считается сбор данных. 

В результате общего сбора данных и будет создана высококачественная модель обработки казахского языка. В будущем это поможет не только улучшить автоматический перевод, но и повысить качество и точность обработки текстов на казахском языке в целом. 

Представители профессионального IT-сообщества и держатели открытых данных могут присоединиться к сбору. Сбор данных будет осуществляться на специально созданном аккаунте АО «НИТ». Пользователи могут, авторизовавшись на платформе, загружать файлы на аккаунт. Загрузке подлежат текстовые файлы разных стилей и жанров на казахском языке в форматах txt, .csv, .json