AI Agent 工程师

你好,我是廖维明

专注于 AI Agent 工程、推理优化和 Data+AI 技术实践。 在这里分享我的项目、技术博客和思考。

技术方向

AI Agent

ReAct 模式、NL2SQL、工具调用与多步推理的工程实践

推理优化

vLLM 部署、GPTQ 量化、推理引擎调优与性能监控

Data + AI

湖仓一体、Spark/Flink 批流一体、OLAP 查询优化

最新项目

查看全部 →
AI Gateway

统一的 AI 模型网关服务,提供多模型路由、负载均衡、请求限流和使用量统计等功能。支持 OpenAI、Anthropic 等多种模型 API 的统一接入,简化了企业内部 AI 服务的管理和调度。

AI InfraGatewayGo
Chat-BI AI PoC

基于 AI Agent 的对话式 BI 分析工具概念验证。通过自然语言与数据交互,支持 NL2SQL 查询生成、数据可视化和智能分析报告。采用 ReAct 模式驱动 Agent 进行多步推理,实现从自然语言到数据洞察的端到端流程。

AI AgentNL2SQLBI
GPTQModel

大语言模型 GPTQ 量化工具库,支持将 LLM 模型量化为 4-bit/8-bit 以降低推理显存占用和提升推理速度。基于 GPTQ 算法实现,提供简洁的 Python API,兼容 vLLM、Transformers 等主流推理框架,广泛应用于模型部署场景。

LLM量化GPTQ

最新文章

查看全部 →