项目
我参与和开发的技术项目,涵盖 AI Agent、推理优化和数据平台等方向。
AI Gateway
统一的 AI 模型网关服务,提供多模型路由、负载均衡、请求限流和使用量统计等功能。支持 OpenAI、Anthropic 等多种模型 API 的统一接入,简化了企业内部 AI 服务的管理和调度。
AI InfraGatewayGoKubernetes
Chat-BI AI PoC
基于 AI Agent 的对话式 BI 分析工具概念验证。通过自然语言与数据交互,支持 NL2SQL 查询生成、数据可视化和智能分析报告。采用 ReAct 模式驱动 Agent 进行多步推理,实现从自然语言到数据洞察的端到端流程。
AI AgentNL2SQLBIPythonLLM
GPTQModel
大语言模型 GPTQ 量化工具库,支持将 LLM 模型量化为 4-bit/8-bit 以降低推理显存占用和提升推理速度。基于 GPTQ 算法实现,提供简洁的 Python API,兼容 vLLM、Transformers 等主流推理框架,广泛应用于模型部署场景。
LLM量化GPTQPython推理优化