AI领域常用大模型地址及下载方法(持续更新)

AI百科7个月前更新 快创云
170 0

现在大模型比较多,平时需要调试对比,就把这些大模型简单一个收集。

不断收集,不断学习

目前,开原模型较多,一些能力弱的,没啥意义

基座模型通常指的是一个通用的、预先训练好的语言模型,如GPT-3.5。这种模型在各种自然语言处理任务中表现出色,可以用作其他更具体任务的基础。对话模型则是专门针对对话系统设计的模型,用于理解和生成对话。这些模型通常会在大规模对话数据上进行预训练,以便更好地理解和生成自然对话。

在实际场景中,通常会使用基座模型进行微调,以适应特定的任务或领域。基座模型已经在大规模的通用语言数据上进行了预训练,因此可以作为一个良好的起点,然后通过微调来使其适应特定的应用场景。

对话模型通常已经在对话数据上进行了预训练,因此在构建对话系统或进行对话相关的任务时,可以使用对话模型进行微调,以使其更好地理解和生成自然对话。

无论是使用基座模型还是对话模型进行微调,都需要根据具体的应用场景和任务需求来选择合适的模型,并进行相应的微调工作

目前主流大模型汇总

简介:整理开源的中文大语言模型,以规模缩小、可试点化部署、成本降低的模型为主,包括基础模型、垂直领域调整及应用、数据集与等教程。

(1). ChatGLM-6B

ChatGLM-6BChatGLM2-6BGLM2-6b 的第三方下载地址GLM2-6b int4 第三方下载GLM2-6b-32k 第三方下载GLM2-6b-32k-int4 下载GLM-6b 的第三方下载地址GLM-6b-int8 的第三方下载地址GLM-6b-int4 的第三方下载地址

ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本,在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上,ChatGLM2-6B 引入了如下新特性:

GLM 多卡部署

(2). LLaMA

mata官方地址

Chinese-LLaMA-Alpaca

Chinese-Llama-2系列-三方下载

Atom-7B-Chat-三方下载

Chinese-7b-Chat-三方下载

Llama2-Chinese-13b-Chat-三方下载

Llama2-Chinese-13b-Chat-4bit

本项目开源了中文LLaMA模型和指令精调的Alpaca大模型,以进一步促进大模型在中文NLP社区的开放研究。这些模型在原版LLaMA的基础上扩充了中文词表并使用了中文数据进行二次预训练,进一步提升了中文基础语义理解能力。同时,中文Alpaca模型进一步使用了中文指令数据进行精调,显著提升了模型对指令的理解和执行能力。

LLMA 安装部署

(3). Mistral 7B

称:目前为止最好的 7B 模型

Mistral 7B

(4). Mistral-8x7B

性能超越 Llama2-65B

A微调Mistral-8x7B

(5). BAAI/bge-reranker-base

特征向量提取器,特别是在向量检索,相似度匹配等领域的表现,目前是最先进的模型

BAAI/bge-reranker-base

github网址

(6). 零一万物开源Yi系列“理科状元”Yi-9B,消费级显卡可跑

Yi-9B

3月6日,零一万物发布并开源了Yi系列中的“理科状元”——Yi-9B。Yi-9B 是目前 Yi 系列模型中代码和数学能力最强的模型,实际参数为 8.8B,默认上下文长度4K tokens,是在 Yi-6B (使用了 3.1T tokens 训练)的基础上,使用了 0.8T tokens 进行继续训练。

(1.)信息抽取

通用信息抽取 UIE(Universal Information Extraction)

UIE(Universal Information Extraction):Yaojie Lu等人在ACL-2025中提出了通用信息抽取统一框架UIE。该框架实现了、、、等任务的统一建模,并使得不同任务间具备良好的迁移和泛化能力。为了方便大家使用UIE的强大能力,PaddleNLP借鉴该论文的方法,基于ERNIE 3.0知识增强预训练模型,训练并开源了首个中文通用信息抽取模型UIE。该模型可以支持不限定行业领域和抽取目标的关键信息抽取,实现零样本快速冷启动,并具备优秀的小样本微调能力,快速适配特定的抽取目标。开放域文本理解大模型

SeqGPT是一个不限领域的文本理解大模型。无需训练,即可完成、、等多种任务。该模型基于Bloomz在数以百计的任务数据上进行获得。模型可以在低至的显卡上。

github地址

(2.)实体识别关系抽取数据集

多领域数据集

(3.)一些较为完成的图谱项目

项目地址

(4.)阿里藏经阁

藏经阁

在商业知识图谱数据开放基础之上,我们还开放了部分知识图谱技术平台能力,开源了若干知识图谱构建、融合、推理和应用工具,以促进知识图谱技术社区的发展。

DeepKE

DeepKE 是一个支持低资源、长篇章的知识图谱抽取工具,用户可以定制输入的数据集和模型实现命名实体识别、关系抽取、属性抽取等知识图谱构建功能。

NeuralKG

是一个通用的知识图谱神经网络表示学习工具,其包含常用的知识图谱嵌入模型、基于图神经网络的图谱推理模型,以及多个规则增强推理模型

OpenUE

OpenUE是一个轻量级知识图谱抽取工具,其实现了在一个统一通用的框架下实现实体关系、事件识别、以及槽位和意图抽取等多种知识图谱构建任务。

PromptKG

PromptKGC(Incoming)是一个基于Pretrain-Prompt-Fitune预训练范式的知识图谱抽取和补全工具,支持文本生成等多种应用和任务。

FastKGE

是一个轻量级知识图谱表示学习框架,其通过知识图谱蒸馏等方法,实现快速、高效的实体向量学习,可支持知识图谱模型的快速部署,以及在、边缘设备应用部署。

(5.)构建知识图谱大模型 东北大学

构建知识图谱大模型

TechGPT是“东北大学知识图谱研究组”发布的垂直领域大语言模型。目前在HuggingFaceᾑ; TechGPT-7Bneukg/TechGPT-7B开源了全量微调的7B版本。

TechGPT主要强化了如下三类任务

以“知识图谱构建”为核心的关系任务

以“阅读理解”为核心的任务。

以“文本理解”为核心的等各类序列生成任务。

摘要缩写,标题扩写

(1).Whisper

是一个通用的识别模型,可以执行多语言识别、翻译和识别

Whisper

(1). Shap-E

以文本或者图像为基础生成3D

Shap-E

5.1 Langchain-Chatchat(原Langchain-ChatGLM)基于 Langchain 与 ChatGLM 等语言模型的本地知识库问答

本地知识库问答

6.1 一键换装

模特一件换装

5.2 ChatYuan-large-v2 大语言模型进行基于知识库的问答

ChatYuan-large-v2 大语言模型进行基于知识库的问答

nlp_bert_document-segmentation_chinese-base 语义分割模型对文本进行拆分

text2vec-large-chinese 模型 对文本向量化

faiss进行向量检索

langchain 进行各个模块的组合,并完成基于知识库的问答

项目结构

大语言模型进行基于知识库的问答

支持中英双语的embedding预训练

jina-embeddings-v2-base-zh 是支持中英双语的文本向量模型,它支持长达8192字符的文本编码。 该模型的研发基于BERT架构(JinaBERT),JinaBERT是在BERT架构基础上的改进,首次将ALiBi应用到编码器架构中以支持更长的序列。 不同于以往的单语言/多语言向量模型,我们设计双语模型来更好的支持单语言(中搜中)以及跨语言(中搜英)文档检索。 除此之外,我们也提供其它向量模型

因为大模型动辄十几GB的大小,因为对于人员来说,环境搭好了,模型还要好几个小时。

模型下载的四种方式:

因为国内对该网站不开放,需挂vpn下载,因为外网下载,所以速度依赖于你的外网网速

下载地址

无需vpn,如果你的网速还行,建议这种方式,首先需要安装modelscope:

无需vpn,非者需手动下载互链高科 (非者或者怕麻烦可以直接去网站手动下载)

者在aliendao的下载器上下载 下载地址

镜像网址

网速很快,运维有测到4M/s,非常推荐用这个网站直接下载

备注:huggingface的镜像网站下载llama2系列模型如何加认证的信息

加 就可以下载, ,如果是,则提示输时输入。

© 版权声明

相关文章