问题内容
我有一个集群，虽然有一种可用的权重存储库，但未连接到互联网。我需要对其运行 LLM 推理。
到目前为止，我发现的唯一选择是使用 transformers 和 langchain 模块的组合，但我不想调整模型的超参数。我遇到了 ollama 软件，但我无法在集群上安装任何东西，除了 python 库之外。所以，我自然想知道，运行 LLM 推理有哪些选择？还有一些问题。
我可以只安装 ollama-python 软件包而不安装他们的 Linux 软件吗？或者我需要两者来运行我的推理吗？如果我设法在此集群上安装 ollama，如何为模型提供预训练权重？如果有帮助，它们存储在（有时多个）.bin 文件中
正确答案
您实际上不必安装 ollama。相反，您可以直接本地运行 llm，例如 mistral 模型
llm = gpt4all( model="/home/jeff/.cache/huggingface/hub/gpt4all/mistral-7b-openorca.q4_0.gguf", device='gpu', n_threads=8, callbacks=callbacks, verbose=true)
登录后复制
或者对于 falcon
from transformers import AutoTokenizer, AutoModelForCausalLM, pipelineimport torchmodel_id = "tiiuae/falcon-7b-instruct"tokenizer = AutoTokenizer.from_pretrained(model_id)pipeline = pipeline( "text-generation", model=model_id, tokenizer=tokenizer, torch_dtype=torch.bfloat16, # trust_remote_code=True, device_map="auto", max_new_tokens=100, # max_length=200,)from langchain_community.llms.huggingface_pipeline import HuggingFacePipelinellm = HuggingFacePipeline(pipeline=pipeline)
登录后复制
我的笔记本电脑上安装了 16g 内存 nvidia 4090，可以支持上述 2 个型号本地运行。
以上就是使用预训练权重在本地运行法学硕士有哪些选择？的详细内容，更多请关注【创想鸟】其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至253000106@qq.com举报，一经查实，本站将立刻删除。
发布者：PHP中文网，转转请注明出处：https://www.chuangxiangniao.com/p/2212002.html
