AI Agent 工程师
你好,我是廖维明
专注于 AI Agent 工程、推理优化和 Data+AI 技术实践。 在这里分享我的项目、技术博客和思考。
技术方向
AI Agent
ReAct 模式、NL2SQL、工具调用与多步推理的工程实践
推理优化
vLLM 部署、GPTQ 量化、推理引擎调优与性能监控
Data + AI
湖仓一体、Spark/Flink 批流一体、OLAP 查询优化
最新项目
查看全部 →AI Gateway
统一的 AI 模型网关服务,提供多模型路由、负载均衡、请求限流和使用量统计等功能。支持 OpenAI、Anthropic 等多种模型 API 的统一接入,简化了企业内部 AI 服务的管理和调度。
AI InfraGatewayGo
Chat-BI AI PoC
基于 AI Agent 的对话式 BI 分析工具概念验证。通过自然语言与数据交互,支持 NL2SQL 查询生成、数据可视化和智能分析报告。采用 ReAct 模式驱动 Agent 进行多步推理,实现从自然语言到数据洞察的端到端流程。
AI AgentNL2SQLBI
GPTQModel
大语言模型 GPTQ 量化工具库,支持将 LLM 模型量化为 4-bit/8-bit 以降低推理显存占用和提升推理速度。基于 GPTQ 算法实现,提供简洁的 Python API,兼容 vLLM、Transformers 等主流推理框架,广泛应用于模型部署场景。
LLM量化GPTQ
最新文章
查看全部 →工程师的 AI 学习指南:从数学基础到生产落地
一份面向工程师的 AI 系统学习路径,从线性代数到 Transformer,从推理优化到 Agent 落地,结合实际工程经验梳理核心知识体系。
AILLM学习指南Transformer推理优化AI InfraAI Agent
vLLM 推理优化实践
深入探讨 vLLM 推理引擎的优化策略,包括 PagedAttention、连续批处理和量化部署的实战经验。
vLLM推理优化LLMAI Infra
AI Agent 工程实践:从 ReAct 到生产落地
分享 AI Agent 在企业级应用中的工程实践经验,包括 ReAct 模式、工具调用和生产部署的关键要点。
AI AgentLLMReAct工程实践