新闻

• [2023.11.22] 我们已经支持了多个于API的模型，包括百度、字节跳动、华为、360。欢迎查阅模型部分以获取更多详细信息。
• [2023.11.20] 感谢helloyongyang支持使用LightLLM作为后端进行评估。欢迎查阅使用LightLLM进行评估以获取更多详细信息。
• [2023.11.13] 我们很高兴地宣布发布 OpenCompass v0.1.8 版本。此版本支持本地加载评估基准，从而无需连接互联网。请注意，随着此更新的发布，您需要重新下载所有评估数据集，以确保结果准确且最新。
• [2023.11.06] 我们已经支持了多个基于 API 的模型，包括ChatGLM Pro@智谱清言、ABAB-Chat@MiniMax 和讯飞。欢迎查看 模型 部分以获取更多详细信息。
• [2023.10.24] 我们发布了一个全新的评测集，BotChat，用于评估大语言模型的多轮对话能力，欢迎查看 BotChat 获取更多信息.
• [2023.09.26] 我们在评测榜单上更新了Qwen, 这是目前表现最好的开源模型之一, 欢迎访问官方网站获取详情.
• [2023.09.20] 我们在评测榜单上更新了InternLM-20B, 欢迎访问官方网站获取详情.
• [2023.09.19] 我们在评测榜单上更新了WeMix-LLaMA2-70B/Phi-1.5-1.3B, 欢迎访问官方网站获取详情.
• [2023.09.18] 我们发布了长文本评测指引.
• [2023.09.08] 我们在评测榜单上更新了Baichuan-2/Tigerbot-2/Vicuna-v1.5, 欢迎访问官方网站获取详情。
• [2023.09.06] 欢迎 Baichuan2 团队采用OpenCompass对模型进行系统评估。我们非常感谢社区在提升LLM评估的透明度和可复现性上所做的努力。
• [2023.09.02] 我们加入了Qwen-VL的评测支持。
• [2023.08.25] 欢迎 TigerBot 团队采用OpenCompass对模型进行系统评估。我们非常感谢社区在提升LLM评估的透明度和可复现性上所做的努力。
• [2023.08.21] Lagent 正式发布，它是一个轻量级、开源的基于大语言模型的智能体（agent）框架。我们正与Lagent团队紧密合作，推进支持基于Lagent的大模型工具能力评测 !
• [2023.08.18] OpenCompass现已支持多模态评测，支持10+多模态评测数据集，包括 MMBench, SEED-Bench, COCO-Caption, Flickr-30K, OCR-VQA, ScienceQA 等. 多模态评测榜单即将上线，敬请期待!
• [2023.08.18] 数据集页面 现已在OpenCompass官网上线，欢迎更多社区评测数据集加入OpenCompass !
• [2023.08.11] 官网榜单上新增了模型对比功能，希望该功能可以协助提供更多发现！
• [2023.08.11] 新增了 LEval 评测支持.
• [2023.08.10] OpenCompass 现已适配 LMDeploy. 请参考 评测指南 对 Turbomind 加速后的模型进行评估.
• [2023.08.10] Qwen-7B 和 XVERSE-13B的评测结果已更新在 OpenCompass 大语言模型评测榜单!
• [2023.08.09] 更新更多评测数据集(CMMLU, TydiQA, SQuAD2.0, DROP) ，请登录 大语言模型评测榜单 查看更多结果! 欢迎添加你的评测数据集到OpenCompass.
• [2023.08.07] 新增了 MMBench 评测脚本 以支持用户自行获取 MMBench-dev 的测试结果.
• [2023.08.05] GPT-4 的评测结果已更新在 OpenCompass 大语言模型评测榜单!
• [2023.07.27] 新增了 CMMLU! 欢迎更多的数据集加入 OpenCompass.