OpenAI представила бенчмарк для оценки AI в разработке лекарств
OpenAI представила MedChemBench — бенчмарк, который оценивает, как AI-модели справляются с задачами медицинской химии. Он проверяет, могут ли модели читать молекулярные структуры, интерпретировать результаты экспериментов, сравнивать соединения и выбирать кандидатов для дальнейшего тестирования.
MedChemBench включает 99 задач на основе 117 научных публикаций и патентов, а также 761 молекулярной структуры. Модели оценивают по четырем направлениям: восстановлению структуры молекул, научному объяснению данных, ранжированию и отбору соединений, прогнозированию их свойств.
GPT-6.2 Astra получила 84,5% доступных баллов при максимальном уровне рассуждений. При этом модель показала лучшие результаты в восстановлении молекулярных структур и объяснении экспериментальных данных. Более сложными остаются задачи, связанные с выбором соединений и численным прогнозированием свойств.
В OpenAI подчеркнули, что результаты MedChemBench пока не подтверждают способность AI самостоятельно открывать новые лекарства. Бенчмарк оценивает работу моделей с уже опубликованными данными и показывает, в каких задачах медицинской химии AI может помочь исследователям.
Источник: OpenAI
