В Казахстане собрали 14 миллиардов токенов для ИИ на казахском языке

В рамках совместного проекта Международного общества «Қазақ тілі» и OpenAI в Казахстане сформировали текстовый корпус казахского языка объемом 14 миллиардов токенов и собрали 12 000 часов аудиозаписей. 

Проект направлен на развитие казахского языка в цифровой среде и повышение качества работы ИИ-инструментов. Соглашение о сотрудничестве между Международным обществом «Қазақ тілі» и OpenAI было заключено в Вашингтоне 7 ноября 2025 года.

В текстовый корпус вошли материалы по образованию, науке, технологиям, экономике, праву, медицине, истории, этнографии и медиа, а также детский контент. Данные классифицируют по тематике, жанрам и возрастным категориям. Корпус также включает материалы, связанные с историей казахского языка и языковым наследием казахской диаспоры.

Аудиоданные очищены от фонового шума, музыки и других посторонних звуков. Для проекта также внедрили адаптированные для казахского языка модели транскрипции. Точность преобразования речи в текст достигла 98%.

Отдельное направление работы связано с защитой персональных данных. Для обработки корпуса разработали модель, которая выявляет и удаляет персональную информацию из текстовых и аудиоматериалов. Также команда развивает инструменты распознавания казахского текста, обработки документов, токенизации, распознавания именованных сущностей и оценки языковых моделей.

Президент подчеркнул важность использования потенциала искусственного интеллекта в изучении и преподавании государственного языка, а также в переводе научной литературы.

Источник: akorda.kz