Согласно отчету TechWeb от 19 сентября, отечественная авторитетная система оценки Flag_ (Libra) объявила результаты оценки последних крупных моделей из сентябрьского списка. Основываясь на последнем наборе данных субъективной оценки CLCC v2.0, сентябрьский список Flag_ (Libra) фокусируется на оценке 7 моделей диалога с открытым исходным кодом, которые в последнее время стали популярными. Судя по общим результатам, b-chat Baichuan2-13, b-chat Qwen-7 и b-chat Baichuan2-7 являются одними из лучших, их точность превышает 65%. В списке базовых моделей результаты объективной оценки Baichuan 2, Qwen, InternLM и Aquila превзошли модели Llama и Llama2 того же уровня параметров. В списке моделей SFT Baichuan 2-13 B-chat, YuLan-Chat-2-13 B и AquilaChat-7 B входят в тройку лидеров. В обоих списках объективной оценки Baichuan 2 показал отличные характеристики, а базовая модель превзошла Llama 2 как в китайском, так и в английском полях. Сообщается, что Flag_ (Весы) — это крупная система оценки моделей и открытая платформа, запущенная Пекинским научно-исследовательским институтом искусственного интеллекта Чжиюань. Она направлена на создание научных, справедливых и открытых критериев оценки, методов и наборов инструментов, которые помогут исследователям во всесторонней оценке базовых моделей и Производительность алгоритмов обучения. Флаг_ Система оценки большой языковой модели в настоящее время включает 6 основных задач оценки, около 30 наборов данных оценки и более 100 000 вопросов оценки.

Согласно отчету 36Kr от 6 сентября, команда Wise AI объявила об официальном запуске нейтральной и открытой платформы сообщества искусственного интеллекта с открытым исходным кодом (wisemodel.cn). Согласно сообщениям, цель платформы — собрать широко используемые модели искусственного интеллекта с открытым исходным кодом, наборы данных и другие ресурсы в стране и за рубежом для создания нейтральной и открытой инновационной платформы искусственного интеллекта с открытым исходным кодом. В настоящее время выпущены такие модели, как Tsinghua/Zhipuchatglm2-6 B, Stable Diffusion V1.5, Alphafold2, Seamless m4 t big, а также наборы данных, такие как ShareGPT, UltraChat и Moss-SFT.

Согласно отчету Xinzhiyuan от 5 сентября, последнее исследование команды Google предлагает использовать большие модели для замены людей для аннотации предпочтений, то есть обучение с подкреплением обратной связи с помощью искусственного интеллекта (RLAIF). Было обнаружено, что RLAIF может добиться сопоставимых улучшений RLHF, не полагаясь на людей-аннотаторов, с вероятностью успеха 50%. В то же время исследование Google еще раз доказало, что RLAIF и RLHF имеют процент выигрышей более 70% по сравнению с контролируемой точной настройкой (SFT).

Согласно отчету Machine Heart от 1 сентября, Лаборатория анализа данных и социальных вычислений Фуданьского университета (FudanDISC) выпустила китайского личного помощника в области медицины и здравоохранения — DISC-MedLLM. В однораундовых оценках вопросов и ответов и многораундовых диалоговых оценках медицинских консультаций и медицинских консультаций эффективность модели демонстрирует очевидные преимущества по сравнению с существующими моделями крупного медицинского диалога. Кроме того, исследовательская группа также опубликовала высококачественный набор данных контролируемой точной настройки (SFT) - DISC-Med-SFT, содержащий данные о 470 000 человек.Параметры модели и технические отчеты также находятся в открытом доступе.

Согласно «сердцу машины», две большие модели из лаборатории Stability AI и CarperAI: FreeWilly 1 и FreeWilly 2 превзошли Llama-2-70b-hf, выпущенную Meta три дня назад, 22 числа, и успешно достигли вершины таблицы лидеров HuggingFace Open LLM. FreeWilly 2 также превзошел ChatGPT (GPT-3.5) во многих тестах, став первой большой моделью с открытым исходным кодом, которая действительно может конкурировать с GPT-3.5, чего не удалось Llama 2. FreeWilly 1 создан на основе оригинальной базовой модели LLaMA 65B и прошел тщательную доводку (SFT) с использованием нового синтетического набора данных в стандартном формате Alpaca. FreeWilly2 основан на последней базовой модели LLaMA 2 70B.

Согласно «сердцу машины», две большие модели из лаборатории Stability AI и CarperAI: FreeWilly 1 и FreeWilly 2 превзошли Llama-2-70 b-hf, выпущенную Meta три дня назад, и успешно достигли вершины таблицы лидеров HuggingFace Open LLM. Что более поразительно, так это то, что FreeWilly 2 также превзошла ChatGPT (GPT-3.5) во многих тестах, став первой моделью с открытым исходным кодом, которая действительно может конкурировать с GPT-3.5, чего не удалось Llama 2. FreeWilly 1 создан на основе оригинальной базовой модели LLaMA 65 B и тщательно контролируемой тонкой настройки (SFT) с использованием новых синтетических наборов данных в стандартном формате Alpaca. FreeWilly2 основан на последней базовой модели LLaMA 2 70 B.

Odaily Planet Daily News Meta выпустила мультимодальную языковую модель CM3leon. CM3leon — это мультимодальная языковая модель, основанная на токенах и предназначенная только для декодера, с улучшенным поиском, способная генерировать и заполнять текст и изображения. CM3leon — это первая мультимодальная модель, обученная с использованием рецепта, адаптированного из модели языка простого текста, состоящего из этапа предварительной подготовки крупномасштабного расширения поиска и второго этапа многозадачной контролируемой точной настройки (SFT). В качестве общей модели он может выполнять преобразование текста в изображение и изображения в текст, что позволяет внедрять независимые контрастные методы декодирования, обеспечивающие высокое качество вывода.