相关分类

AI模型 18 模型训练 2

AI模型评测 产品

ReLe中文大模型能力评测榜单

ReLe中文大模型能力评测榜单

腾讯云出品，目前已囊括195个大模型，覆盖chatgpt、gpt-4o、o3-mini、谷歌gemini、Claude3.5、智谱GLM-Zero、文心一言、qwen-max、百川、讯飞星火、商汤senseChat、minimax等商用模型， 以及DeepSeek-R1、deepseek-v3、qwen2.5、llama3.3、phi-4、glm4、书生internLM2.5等开源大模型。
Livebench LLM模型的基准测试平台

Livebench LLM模型的基准测试平台

LiveBench 的设计初衷是解决传统 LLM 基准测试中存在的局限性，如数据污染和主观性问题。它通过以下方式实现这一目标： 限制数据污染：LiveBench 每月发布新的问题集，并基于最近发布的数据集、arXiv 论文、新闻文章和 IMDb 电影简介设计问题，从而确保测试集的时效性和新颖性，减少数据泄露的可能性。 客观评分：所有问题都设有可验证的、客观的“基本真实答案”，评分过程完全自动化，无需依赖其他 LLM 作为评审员，确保评分的准确性和公正性
superbench 大模型评测榜单

superbench 大模型评测榜单

SuperBench 是由清华大学基础模型研究中心联合中关村实验室在 2024 年共同发布的大模型综合能力评测榜单，致力于为大模型领域提供科学、客观的评测标准，促进大模型技术、生态和应用的健康发展。 致力于打造一个公平、公正、公开、系统的评测体系，以推动国内大模型研究与应用的进步”，并提供了 “加入评测” 和 “最新榜单” 等按钮，方便用户参与和查看最新信息
AGI-Eval

AGI-Eval

AGI-Eval是一个AI大模型评测社区
Chatbot Arena LLM 排行榜翻译站点

Chatbot Arena LLM 排行榜翻译站点

Chatbot Arena (lmarena.ai) 是一个由加州大学伯克利分校 SkyLab 和 LMSYS 的研究人员开发的开源平台，用于通过人类偏好评估 AI。在 GitHub 上开源了 FastChat 项目，并发布了开放数据集。我们始终欢迎社区的贡献。
FlagEval （天秤）大模型评测

FlagEval （天秤）大模型评测

FlagEval （天秤）大模型评测体系及开放平台，旨在建立科学、公正、开放的评测基准、方法、工具集，协助研究人员全方位评估基础模型及训练算法的性能，同时探索利用AI方法实现对主观评测的辅助，大幅提升评测的效率和客观性。FlagEval （天秤）创新构建了“能力-任务-指标”三维评测框架，细粒度刻画基础模型的认知能力边界，可视化呈现评测结果。
Open LLM Leaderboard翻译站点

Open LLM Leaderboard翻译站点

随着大量大型语言模型（LLMs）和聊天机器人每周都在发布，它们往往伴随着对性能的夸大宣称，要筛选出由开源社区所取得的真正进展以及哪个模型是当前的技术领先水平，可能会非常困难。 为此，HF推出了这个大模型开放评测追踪排行榜。 Open LLM Leaderboard 旨在追踪、排名和评估开源大型语言模型（LLMs）和聊天机器人在不同评测任务上的得分。
OpenCompass司南

OpenCompass司南

OpenCompass（司南）是由上海人工智能实验室发布的开源大模型评测体系，目前已成为业界权威的大模型评估平台，涵盖学科、语言、知识、理解、推理等评测维度，可全面评估大模型的综合能力。
LYi 林哥的大模型野榜

LYi 林哥的大模型野榜

这两年各种号称能超越 OpenAI 的大模型层出不穷。为找出最好用的大模型，作者搭建了一个大模型竞技场的网站，并免费开放，希望借助大家的力量做出更适合中国的第三方大模型产品排行榜。目前网站已开始运行，前期模型可能排名不太稳定 “大模型竞技场”的灵感源于LMSYS提出来的Chatbot Arena，聊天机器人竞技场。 测试原理是引入了 ELO 机制，让模型与模型对抗。具体为让两个大模型同时回答用户的一个问题，再由用户选择哪个模型回答得更好。用户出题、用户打分，题目灵活多变，评判标准更接近人的真实感受。 随后还介绍了大模型竞技场中的自动化决定和防作弊功能。通过小AI统计模型在不同维度下的表现，并减少简单重复性问题的影响。同时采用连坐方式防止模型泄露关键信息，保证竞技场的公平性。用户可通过网站进行大模型对抗赛和查看排名信息。 网址： https://lyihub.com/ 介绍视频：https://www.bilibili.com/video/BV1RS421972P/
CodeWithGPU

CodeWithGPU

CodeWithGPU是一个AI镜像、模型技术社区，它以GitHub为基础，在GitHub托管的代码下游，提供额外的镜像环境、算法模型等，解决以往构建环境难、管理与分享模型难的问题，为算法开发者、研究者等提供开箱即用的内容体验。
huggingface

huggingface

huggingface.co是一个AI社区，致力于构建未来的机器学习。它提供了一个开放的平台，让你可以创建、发现和协作机器学习模型，特别是自然语言处理（NLP）模型