Альянс в сфере ИИ выпустил новую версию бенчмарка больших языковых моделей MERA

- КиТ :: Будь в СЕТИ!

Альянс в сфере искусственного интеллекта представил новую версию бенчмарка MERA: в нее вошли динамический лидерборд, обновленная кодовая база замеров, более совершенная система промптов и улучшенные датасеты, поддержка API, а также замеры десятков новых моделей, включая созданные OpenAI. Об этом CNews сообщили представители Альянса в сфере ИИ.

Обновленная версия бенчмарка включает в себя 15 основных задач, из которых строится рейтинг, и восемь открытых публичных датасетов.

С момента релиза первой версии бенчмарка им воспользовались десятки разработчиков моделей, отправивших свыше 1000 сабмитов. Совершенствование MERA стало возможно благодаря комментариям пользователей и обратной связи от участников NLP-сообщества. Дальнейшее развитие MERA предусматривает появление в нем задач для оценки распознавания изображений, аудио- и видеоматериалов.

📧ПодпискаБудь в СЕТИ! Новости социальных сетей - всегда актуальное
 
Группы: ВК | OK | Tg