从零构建.Net前后端分离项目
推荐一个C#大模型推理开源项目，让你轻松驾驭私有化部署！
01项目简介LLama是Meta发布的一个免费开源的大模型，是一个有着上百亿数量级参数的大语言模型，支持CPU和GPU两种方式。而LLamaSharp就是针对llama.cpp封装的C#版本，让方便我们基于C#开发应用，让我们不需要自己编译llama.cpp。它的性能接近llama.cpp，支持Windows、Linux和MAC。
02项目结构该项目提供了多种Web、WebAPI、控制台等多个Demo版本。
03使用方法1、安装依赖
Install-Package LLamaSharp2、演示源码
using LLama.Common;using LLama;
string modelPath = "..\LLama.Unittest\Models\llama-2-7b-chat.Q4_0.gguf"; var prompt = " I want a C # function to do binary search of an array , please show me the code."; //提示词
// 加载模型var parameters = new ModelParams(modelPath){ ContextSize = 1024, Seed = 1337, GpuLayerCount = 5};using var model = LLamaWeights.LoadFromFile(parameters);
// 初始化聊天会话using var context = model.CreateContext(parameters);var ex = new InteractiveExecutor(context);ChatSession session = new ChatSession(ex);
// 显示提示Console.WriteLine();Console.Write(prompt);
// 循环运行推理以与LLM聊天while (prompt != "stop"){ foreach (var text in session.Chat(prompt, new InferenceParams() { Temperature = 0.6f, AntiPrompts = new List<string> { "User:" } })) { Console.Write(text); } prompt = Console.ReadLine();}
// 保存会话session.SaveSession("SavedSessionPath");3、效果
04项目地址
https://github.com/SciSharp/LLamaSharp最后推荐下我的 知识星球，在星球里，我已编写了多个原创专栏、上百篇的编程与学习心得，带你从零学习框架的搭建，提供专门的编程交流学习群，并获取 1 对 1 的答疑指导服务。
阅读原文
