Qwen-Agent接入ollama部署的大模型服务

Qwen-Agent接入ollama部署的大模型服务

1.安装运行ollama

# 1.初始化ollama服务
>> ollama serve
# 2.拉取ollama大模型，并运行，并保持其运行
>> ollama run qwq:latest

2.修改模型配置

​ 修改llm配置：

bot = Assistant(
	  llm={'model': 'qwen-plus-latest'},
    name='Assistant',
    description='使用RAG检索并回答，支持文件类型：PDF/Word/PPT/TXT/HTML。')

​ 修改后如下：

bot = Assistant(
    llm={
        'model': 'qwq:latest', 
        'model_server': 'http://10.124.132.16:11434/v1/',
        'api_key': 'EMPTY',
    },
    name='Assistant',
    description='使用RAG检索并回答，支持文件类型：PDF/Word/PPT/TXT/HTML。'
)

​ 然后正常运行即可。

3.ollama版本更新

​ 千问刚发布qwen3相关模型，要使用ollama部署，需要 大于版本 0.6.6，查看ollama版本：

>> ollama --version
ollama version is 0.6

​ 因此需要升级ollama版本，直接重新安装一下就好了：

>> curl -fsSL https://ollama.com/install.sh | sh

​ 然后拉取一下qwen3：

>> ollama run qwen3
>>> 你好
<think>
嗯，用户发来“你好”，我需要先回应这个问候。作为AI助手，我应该友好且专业。首先
，要确认用户的需求是什么，他们可能只是随便打个招呼，或者有具体的问题需要解决
。接下来，我应该用中文回应，并且保持口语化，避免使用生硬的术语。同时，要简洁
明了，让用户知道我在这里可以帮助他们。可能还需要引导用户说出他们的具体问题或
需求，以便提供更有针对性的帮助。另外，要注意语气亲切，让用户感到被重视和欢迎
。最后，确保回应符合格式要求，不使用markdown，保持自然流畅。
</think>

你好！有什么我可以帮助你的吗？😊

4.参考资料

• [1] Ollama+Qwen 快速搭建Agent智能体应用
• [2] ollama