Jetson Nano 部署ChatGLM

参考博客：https://blog.csdn.net/weixin_42232045/article/details/134659394

博主硬件：图为科技的Jetson Nano T201板子，8G内存

注意：

        modelscope的ChatGLM3-6b模型虽然能在Windows上运行，但是部署到Jetson Nano设备上会出现下面错误：

        ZhipuAI/chatglm3-6b-base

下载chatglm.cpp

https://github.com/li-plus/chatglm.cpp

注意：千万不要直接用网页下载zip压缩包，不然后面cmake构建会报错，一定要按照官方提示，用git下载，可以在windows上用cmd执行git命令，下载完之后，再上传到设备上。

下载完之后，按照github上的说明，按流程操作就行了。

备注：

    ChatGLM3-6b模型训练请参考：ms-swift

    官网：https://www.modelscope.cn/models

$ cmake -B build
$ cmake --build build -j --config Release
$ ./build/bin/main -m models/chatglm-ggml.bin -p 你是谁
我是一个名为小宅的人工智能助手，由小宅博客开发和训练，主要通过文字交流与用户互动。

如下：

Python

import chatglm_cpp
from datetime import datetime

def getData():
    now = datetime.now()
    return f"{now.year}-{now.month}-{now.day} {now.hour}:{now.minute}:{now.second}"

pipeline = chatglm_cpp.Pipeline("chatglm-ggml.bin")
print(getData())
print("给我讲个笑话")
message = chatglm_cpp.ChatMessage(role="user", content="给我讲个笑话", tool_calls=[])
text = pipeline.chat([message])
print(getData())
print(text.content)
print(text.tool_calls)