基本信息
- 黄志国/ 男 / 1989年6月
- LLM与GNN
联系方式
技能点
教育经历
-
南开大学 - 精算学专业(博士)
专业方向 社会保障与人口结构,期间发表CSSCI来源期刊4篇,会议论文1篇。
-
华侨大学 - 统计学专业(硕士)
专业方向 货币政策与劳动经济学,期间发表CSSCI来源期刊2篇,研究报告2篇。
-
东华理工大学 - 信息与技术科学专业(本科)
工作经历
-
[经历1]恒生电子股份公司/浙江大学-技术专家/博士后
- 2019.07-2020.03部门为恒生研究院专家工作室, 负责机器学习在金融工程中的应用与开发,金融工程主要研究方向为alpha模型,风险模型,大类资产配置, 机器学习算法主要方向为 automl,强化学习。
- 2020.09-2021.03所属部门为恒生研究院应用发展部债券组, 负责财务附注数据的抽取、开发、维护、应用,涉及方向为:统计推断、因果推断。
- 2021.03-2022.04所属部门为恒生研究院数据工程部机器学习组, 负责财务附注数据的抽取、开发、维护,图神经网络算法研究、设计与开发, 涉及方向为:统计推断、因果推断、图神经网络、图嵌入学习。
- 2022.04-2023.10 所属部门为恒生电子技术平台研发管理部, 负责图神经网络算法研究、设计与开发, 涉及方向为:图神经网络、图嵌入学习。
- 在站期间共发表CSSCI、SCI、EI论文共5篇。
-
[经历2]品茗科技股份有限公司-算法专家
- 2023.10-2024.07 部门为研发九部, 负责公司RAG的全流程事宜,包括设计、改造、流程优化、Embedding模型的训练, 涉及方向为 LLM,embedding模型,reranker模型,向量数据库,非结构文档解析,大模型推理。
-
[经历3]深圳金证科技股份有限公司-资深开发工程师
- 2024.08-2025.08 所属部门为 AI 创新中心,负责 RAG 技术优化与落地,大语言模型、多模态模型训练、调优与评估,模型推理性能优化,涉及方向为:LLM 模型应用落地(基于langchain\\llama-index),LLM 和多模态模型的推理服务加速(基于 vllm 等)。
-
[经历4]大湾区(广东)国家技术创新中心-工业软件产业发展专家
- 2025.08-至今 所属部门为工业软件发展中心技术研究部,负责大语言模型、多模态模型在工业软件领域的落地与应用,包括但不限于大模型/多模态模型继续预训练、sft、rlhf、推理加速、RAG、Agent。
书籍、论文与专利
-
[书籍与论文]
- [书籍]大模型算法技术栈:训练与推理.黄志国.清华大学出版社.(已签约待交稿)
- [论文] HUANG Zhiguo. DHSEGATs: Distance and Hop-wise Structures Encoding Enhanced Graph Attention Networks[J]. Journal of Systems Engineering and Electronics 2023, 34(2): 350-359
- [论文] HUANG Z. On the Effectiveness of Graph Statistics of Shareholder Relation Network in Predicting Bond Default Risk[J/OL]. Journal of Control Science and Engineering, 2022, 2022: 8401354.
[发明专利]
- 2022111899152-资源数据处理方法及装置(发明公布)
- 2022110944377-模型训练方法、节点分类方法、装置、设备及存储介质(发明公布)
[书籍翻译]
项目经验
-
[项目1]基于nlp和知识图谱的智能问答系统
- 技术栈:python+tensorflow+bert
-
[目标]实现与客服的智能问答,基本实现了对人工客服的替代
[方法]基于 bert/albert深度学习算法获取用户查询语句和备选题库语句的特征表示(sentence embedding), 基于文本相似度获取最近邻匹配,判断用户查询语句和备选库问题语句是否匹配,最终为用户查询提供反馈。 有效解决智能客服领域由于标注数据少无法训练出语义匹配模型的问题
[贡献]作为后期的主要开发人员进行智能客服系统的开发、支持、上线与维护。
-
[项目2]财务附注数据开发与应用
- 技术栈:python+sklearn+numpy+pandas
-
[目标]将复杂不可用的财务附注数据转换为高可用的标准数据
[贡献]负责财务附注数据开发的设计与维护
-
[项目3]股权关系图嵌入在债券违约风险预测中的有效性研究
- 技术栈:python+pytorch+图嵌入学习+sklearn
-
[目标]对股权关系进行图嵌入在债券违约风险中的有效性进行探索
[方法]从股权关系信息的理论有效性出发, 在三类债券违约风险预测中使用了四种图嵌入算法和七种机器学习预测模型, 针对股权关系信息的有效性, 图嵌入算法和机器学习模型的相对有效性进行分析。
[贡献]负责项目的设计、开发、研究报告撰写。
-
[项目4]基于专利分类号和改进LightGCN算法的公司相似度度量研究
- 技术栈:python+pytorch+pytorch-geometric+DGL+图神经网络+图嵌入学习
-
[目标]实现从专利的角度对公司间的相似度进行度量
[方法]专利分类信息在衡量公司的核心竞争力方面具有很高的理论和实务意义,可作为度量公司相似度的重要手段, 但如何将其转化为可学习的对象、使用何种方案与算法极具挑战。本项目专利分类号和改进LightGCN算法对此进行了研究, 提出了一种高效、快速、数据要求低、粒度可调整、易于部署的公司相似度度量算法。 本项目首先提出一种将专利分布信息转换为专利分布号网络的方案,然后基于生成的专利分布号网络使用图嵌入框架进行学习, 并为此对LightGCN算法进行改进, 基于改进LightGCN学习公司的嵌入向量,最终基于嵌入向量和cosine距离计算公司相似度值。
[贡献]负责项目的设计、开发、上线、维护、研究报告撰写。
-
[项目5]开源项目langchain-chatchat 35k+ star Langchain-Chatchat
- 技术栈:LLM/Embedding/langchain/gradio/click/fastapi/fastchat/uvicorn
-
[目标]实现本地部署、支持文档问答、搜索问答的聊天机器人
[方法]本项目是一种利用 langchain 思想实现的基于本地知识库的问答应用,目标期望建立一套对中文场景与开 源模型支持友好、可离线运行的知识库问答解决方案。项目建立了全流程可使用开源模型实现的本地知识库 问答应用。现已支持使用 ChatGLM-6B 等大语言模型直接接入,或通过 fastchat api 形式接入 Vicuna, Alpaca, LLaMA, Koala, RWKV 等模型,依托上述模型可实现全部使用开源模型离线私有部署。
[贡献]核心开发者,负责大模型接入、推理加速框架接口、RAG效果增强优化、向量数据库接入
-
[项目6]品茗 AI 方案助手及品茗 AI 助手
- 技术栈:Langchain/Llama-Index/Embedding模型/向量数据库/FlagEmbedding
-
[方法] 基于Paddle-OCR/Markdown分割器与Weaviate提取非结构化文档,组合多层次数据库记录元数据与原文;并基于天壤小白模型搭建RAG双路混合召回进行深度生成、改写和扩展,最终通过Flow-wise提供APP工作流编排能力。
[贡献] 兼任项目经理与算法专家进行架构部署与设计,完成了包括文档前后解析入库逻辑、Embedding模型微调和RAG整体链路改造及Prompt工程优化,实现业务场景高质量问答与文案生成。
-
[项目7]基金交易表单信息抽取项目
- 技术栈:多模态模型/vLLM/llama-factory/ms-swift
-
[方法] 为了实现针对基金交易表单的高精度信息抽取,在开源多模态模型上进行了深度SFT微调,训练采用定制的600+表单图像与3万+QA对。结合vLLM开展visual元素预嵌入等多种显存与计算加速技术。
[贡献] 负责多模态模型的整理评估与训练任务;深度解析vLLM开源实现并加入对多模态视觉模型(如Qwen2-VL)的Prefix Cache支持,使得单表抽取从7秒降至2.9秒并大幅提高并发QPS能力。
-
[项目8]金证 K-GPT LLM 应用开放平台
- 技术栈:RAG/vLLM/LLM推理/流程编排
-
[方法] 依托Langchain-chatchat构造API集成的RAG服务。搭配Paddle-OCR、自定义文档分割及Milvus、ES等多检索路实现父子块与自反思的混合检索机制,支持模型无缝切换及工作流简化编排。
[贡献] 负责全系统后端底层LLM推理服务环境部署及高可用封装;针对RAG管线执行模块级功能调优与日常维护,并协调对接各产品线落地AI应用需求。
-
[项目9]通义灵码企业私有化部署项目
- 技术栈:通义大模型/RAG/Embedding/Reranker/私有化部署
-
[方法] 将通义灵码大模型能力(如Qwen2.5-72B/Code-32B与Reranker)全站转移至企业私有算力中利用vLLM部署,融合局域网开发IDE插件实现代码生成、测试构建与知识库问答。
[贡献] 以主要责任人角色主导推进通义灵码在公司物理环境的本地落地方案、适配企业架构的插件下发及常态化运维策略制定,完成模型在私有环境和端侧排障定位。
-
[项目10]金融业务办理智能机器人
- 技术栈:RAG/Prompt Engineering/向量数据库
-
[方法] 设计基于双主要组件驱动的智能问答逻辑:意图识别利用向量数据库召回来组装Prompt让大模型辨识;任务提取组件针对意图映射执行知识库二次抽取补齐,并通过互动确认闭环信息反馈。
[贡献] 构建了包含业务模板设置、示例反馈干预在内的智能引擎。带领实施向量数据的检索、RAG长下文拼接逻辑设计,解决少样本条件与模糊意图下抽取遗漏短板。