Foundation Models · Research Engineering
From code to evidence.
我关注模型如何被训练、评估与改进。从基础组件实现到严格验证与实验对照，尽量让每一项技术结论都有可复查的代码、指标和边界说明。
01 / Flagship
优先展示可验证的工作，而不是泛化的技术标签或尚未完成的宏大目标。
Milestone 1 complete · Open source
当前完成的里程碑是 byte-level BPE Tokenizer：确定性合并规则、多语言预分词、朴素与增量索引训练器及一致性验证。Decoder-only Transformer 目前已有 待审核工程草稿 PR #24，已完成隔离环境的 Toy CPU 测试，但尚未完成真实预训练、本人复核与 GPU profiling。
这些数字来自小规模合成语料，不能代表生产吞吐。优化版本在中文语料上回退，且测得的 Python 内存分配更高；完整局限性和测量方法见技术报告。
Work in progress · Private research
围绕数学验证、难度剖析和后续的受控 SFT / RLVR 实验，研究数据选择与验证策略如何影响训练表现。研究仓库暂为私有；目前不宣称已完成 RL 训练、已发表论文或已有对外可复现结果。
02 / Supporting evidence
从工业 ML 到检索评估：这些项目补充展示实验设计、数据口径和分析能力，不代表生产环境部署。
Recommendation · Offline reproduction
Two-Tower 召回、时间切分、负采样、Faiss 风格检索、Recall@50/NDCG@50 与消融。公开版本基于伪造或脱敏数据；不主张真实线上 A/B 提升。
Open repository ↗Multimodal retrieval
图文检索、难负样本、SKU 属性冲突、OCR 干扰与错误案例分析。
Open repository ↗Retrieval evaluation
BM25、Dense Retrieval、重排、分块消融与引用质量评估；不是语言模型预训练项目。
Open repository ↗03 / Principles
先定义基线与测试，再做性能优化。结果必须能在明确环境下复核。
保留性能回退、失败案例、局限性和解释，而不只展示最好的数字。
优先借鉴高质量开源实现，核验许可、原作者与复现成本。
公开项目仅使用允许共享的代码与数据，不公开雇主内部资产、凭证或业务指标。