# eval-example

**Repository Path**: bytesifter/eval-example

## Basic Information

- **Project Name**: eval-example
- **Description**: 评测、evaluation、LLM-as-judge
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: main
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-07-17
- **Last Updated**: 2026-07-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# langfuse-example

Langfuse 多语言接入示例 monorepo -- 部署 Langfuse 服务端，并提供 Python / TypeScript / Java / Go 客户端接入示例，演示 LLM 调用追踪与评测打分。

## 目录结构

```
langfuse-example/
├── langfuse-deploy/             # Langfuse v3 服务端 Docker 部署
├── python-example/              # Python 接入示例（langfuse SDK v4）
├── typescript-example/          # TypeScript 接入示例（规划中）
├── java-example/                # Java 接入示例（规划中）
├── go-example/                  # Go 接入示例（规划中）
├── docs/
│   ├── eval-01-introduction.md              # ① 评测认知基座
│   ├── eval-02-landscape.md                 # ② 评测全景：维度与方法
│   ├── eval-03-thinking-framework.md        # ③ 评测思维框架：从场景到方案
│   ├── eval-04-practice.md                  # ④ 评测实践：工作流与智能体
│   ├── eval-05-engineering.md               # ⑤ 评测工程化：从手动到持续
│   ├── eval-06-tool-selection.md            # ⑥ 工具选型：5 个工具对比
│   └── eval-07-tool-landing.md              # ⑦ 工具落地：选定工具详解
├── agents/                      # 团队 AGENTS 规范子模块
└── .opencode/                   # OpenSpec 工作流配置
```

## 快速开始

### 1. 部署 Langfuse 服务端

```bash
cd langfuse-deploy
cp .env.example .env
# 编辑 .env，填写 CHANGEME 标记字段
sudo ./deploy.sh
```

部署完成后访问 `http://localhost:3000`，在 Settings -> API Keys 创建公钥/密钥对。

详见 [langfuse-deploy/README.md](langfuse-deploy/README.md)。

### 2. 选择语言示例并运行

以 Python 为例：

```bash
cd python-example
uv sync
cp .env.example .env
# 编辑 .env，填入 Langfuse 与 OpenAI 凭证
uv run python -m langfuse_example
```

### 3. 查看 Trace 与 Score

登录 Langfuse Web UI，在 Traces 页面查看：
- 函数追踪（`@observe` 装饰器）
- LLM 调用追踪（含 model / input / output / token 用量）
- 评测打分（score）

## 各语言接入路径

| 语言 | 接入方式 | 状态 |
|------|----------|------|
| **Python** | 官方 SDK v4（OTel 内核） | ✅ 已实现 |
| **TypeScript** | 官方 SDK v5（@langfuse/tracing） | 规划中 |
| **Java** | OTel endpoint + Spring AI | 规划中 |
| **Go** | OTel endpoint + OpenLLMetry | 规划中 |

> Java / Go 等无官方 SDK 的语言通过 OpenTelemetry endpoint 接入，详见 [⑦ 工具落地](docs/eval-07-tool-landing.md)。

## CSDN 系列文章：智能体评测系统认知

面向公开读者的七篇系列文章，按阅读顺序编号：

- **① 评测认知基座**：[什么是 LLM 评测](docs/eval-01-introduction.md) -- 评测 vs 测试、评测 vs 观测、三层模型、为什么 LLM 评测难
- **② 评测全景**：[维度与方法](docs/eval-02-landscape.md) -- 工程界四维度、学界六类方法、基准全景、工具全景
- **③ 评测思维框架**：[从场景到方案](docs/eval-03-thinking-framework.md) -- 评测设计决策树、LLM-as-judge 深入、天气查询案例
- **④ 评测实践**：[工作流与智能体](docs/eval-04-practice.md) -- 框架 vs 平台、工作流与智能体评测案例、两层配方
- **⑤ 评测工程化**：[从手动到持续](docs/eval-05-engineering.md) -- 测试集管理、执行管道、回归保护、在线评测实践
- **⑥ 工具选型**：[5 个工具对比](docs/eval-06-tool-selection.md) -- 选型维度、5 工具深入分析、对比筛选、选型决策树
- **⑦ 工具落地**：[选定工具详解](docs/eval-07-tool-landing.md) -- Langfuse 架构、能力矩阵、Java/Go 接入、接入方案

## License

MIT