# Timestamp

**Repository Path**: yanxuefeng/timestamp

## Basic Information

- **Project Name**: Timestamp
- **Description**: Timestamp** 是一款基于 HarmonyOS 6.1+ 加密分享能力的动态协作套件。它将 HarmonyOS 系统底层的加密分享能力封装为易用的协作工具，让用户在分享文件（图片、文档、视频）时，可以精细设置**查看时效**、**查看次数**、**动态水印**、**禁止转发/截图**等安全策略——所有这些限制由系统底层强制执行，接收方无法绕过。
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-05-09
- **Last Updated**: 2026-05-15

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# SmartShelf

**中文名称**：「智慧货架」—— AR驱动的沉浸式智能零售体验平台

> 🛒 2026 HarmonyOS创新赛·极客赛道 参赛作品  
> 主题方向：**3D空间化**（核心）+ **AI智能化体验** + **全场景一体协同** + **安全隐私保护**  
> 核心理念：让每一次商品扫描，都是一次沉浸式的智慧购物体验。

[![HarmonyOS](https://img.shields.io/badge/HarmonyOS-6.1%2B-007D9C?logo=harmonyos)](https://developer.harmonyos.com/)
[![License](https://img.shields.io/badge/License-Apache%202.0-green.svg)](LICENSE)
[![Stage](https://img.shields.io/badge/Status-Prototype-orange)]()
[![HDC2026](https://img.shields.io/badge/HDC-2026-red)]()

---

## 📖 项目简介

**SmartShelf** 是一款基于 HarmonyOS 6.1+ 的智能零售体验平台。它将 AR 空间感知与端侧 AI 多模态识别技术深度融合，为生鲜超市、便利店等线下零售场景打造沉浸式智能购物体验。

顾客使用手机扫描货架上的商品时，系统通过 AR Engine 实时进行空间感知与平面标定，结合端侧盘古大模型的多模态识别能力精准识别商品，并在 AR 空间中动态叠加 3D 标签——商品名称、实时价格、新鲜度评分、有效期提示、优惠券信息等一应俱全，以虚实融合的方式实现真正的“所见即所得”。

平台基于鸿蒙分布式数据管理能力，门店后台的价格调整、促销活动等信息可毫秒级同步至顾客设备。顾客已扫描过的商品若出现价格变动，系统会实时推送更新通知，让顾客不错过任何优惠。所有推理与数据同步均在端侧与可信设备间完成，不泄露用户隐私。

> “拿起手机扫一扫，货架商品‘开口说话’。” —— SmartShelf 团队

## ✨ 四大核心创新功能

| 创新功能               | 涉及创新主题       | 详细能力说明                                                 |
| ---------------------- | ------------------ | ------------------------------------------------------------ |
| **高保真AR空间映射**   | **3D空间化**       | 基于HarmonyOS AR Engine的空间语义理解、实时平面检测与光照估计能力，自动识别货架结构与商品摆放区域，实现虚拟信息与真实商品的精准叠加融合【6】。 |
| **多模态商品精准识别** | **AI智能化体验**   | 调用盘古端侧大模型的多模态理解能力，对摄像头画面中的商品图像进行毫秒级推理分析，输出商品SKU、品牌和品类等信息【1】。ARM架构NPU加速使推理延迟控制在200ms以内【8】。 |
| **分布式实时价签同步** | **全场景一体协同** | 运用分布式数据对象与分布式软总线构建门店后台管理系统，实现价格、促销、库存等信息的多设备实时协同同步与高效传输【2】【3】。 |
| **端侧AI隐私保护**     | **安全隐私保护**   | 用户扫描图像在设备端侧完成识别，门店价格数据仅通过可信分布式网络传递，无需上传云端，从源头上保障用户商品浏览与位置隐私“不出网”【0】。 |

## 🎯 核心使用场景

### 场景一：生鲜商品智能识别与新鲜度评估

**场景描述**：顾客王阿姨在生鲜区的草莓货架前拿出手机，打开 SmartShelf 应用，扫描草莓盒。几秒钟后，手机屏幕上出现了 AR 叠加信息——

- **商品信息**：丹东99草莓（A级大果）
- **新鲜度评估**：今日到货新鲜度96%，建议今日食用
- **价格变化趋势**：价格曲线显示近三天从 49.9 → 39.9 → 35.9 元（今日限时优惠）
- **有效期标签**：最佳赏味期至 5月15日（剩余3天）
- **优惠信息**：领券再减5元 + 本周会员双倍积分

**系统实现路径**：
- **AR空间感知**：AR Engine 实时识别货架平面并标定商品位置，为信息叠加提供空间锚点【6】
- **端侧多模态识别**：盘古大模型对摄像头画面中的草莓包装图像进行多模态分析，识别品牌和品类【1】【8】
- **AI新鲜度评估**：端侧AI模型结合商品日期信息和图像特征，给出新鲜度综合评分
- **分布式数据同步**：门店后台实时推送的价格、促销与有效期信息，与顾客设备的分布式数据对象实时同步【2】【3】

### 场景二：分布式优惠联动与价格变动实时提醒

**场景描述**：王阿姨在扫描过草莓后继续购物。15分钟后，门店因清库存将草莓价格从 35.9 元临时下调至 29.9 元。SmartShelf 系统通过分布式数据管理自动向王阿姨手机推送弹窗提醒：「您之前浏览的丹东99草莓已降价至29.9元，欢迎返回购买！」

当王阿姨返回草莓货架时，AR 视图中商品的 3D 标签自动更新价格，并高亮显示“限时降价”特效。结账时，手机自动弹出适用的优惠券核销提示，积分同步到账，全程无感。

**系统实现路径**：
- **分布式数据对象同步**：门店后台的价格变更通过分布式数据对象实时同步至所有已建立数据会话的顾客设备【2】【3】
- **分布式软总线**：采用毫秒级传输能力保障价格变动在 1 秒内触达用户【3】
- **AR场景实时刷新**：AR Engine 空间感知能力确保价格标签随用户移动实时重新锚定和更新【6】

## 🧠 技术架构与核心能力

### 系统架构全景图

```
┌─────────────────────────────────────────────────────────────────────┐
│                      HarmonyOS 6.1+ 生态系统                         │
├─────────────────────────────────────────────────────────────────────┤
│                         SmartShelf 应用层                            │
│  ┌───────────────┐  ┌───────────────┐  ┌───────────────────────┐  │
│  │   顾客端App    │  │  门店管理后台  │  │    云服务(可选)        │  │
│  │ - AR商品扫描   │  │ - 价格管理    │  │ - 商品SKU数据同步      │  │
│  │ - 智能信息叠加 │  │ - 促销配置    │  │ - 门店信息下发         │  │
│  │ - 历史浏览记录 │  │ - 库存管理    │  │ - 紧急公告广播         │  │
│  └───────────────┘  └───────────────┘  └───────────────────────┘  │
├─────────────────────────────────────────────────────────────────────┤
│                      HarmonyOS 系统能力层                            │
│  ┌─────────────────────────────────────────────────────────────┐   │
│  │         3D空间化 (Spatial)                                    │   │
│  │  • AR Engine - 空间感知/平面检测/光照估计/3D物体跟踪【6】       │   │
│  │  • Camera Kit - 相机流管理与图像帧获取【8】                    │   │
│  └─────────────────────────────────────────────────────────────┘   │
│  ┌─────────────────────────────────────────────────────────────┐   │
│  │         AI智能化 (AI Intelligence)                           │   │
│  │  • 盘古大模型端侧推理 - 多模态商品图像识别【1】【8】              │   │
│  │  • MindSpore Lite - 轻量化模型部署与NPU加速推理【0】            │   │
│  │  • OCR能力 - 包装文字识别与有效期判断                          │   │
│  └─────────────────────────────────────────────────────────────┘   │
│  ┌─────────────────────────────────────────────────────────────┐   │
│  │      全场景一体协同 (Cross-device Collaboration)              │   │
│  │  • 分布式数据对象 DDO - 跨设备实时数据同步与事件广播【2】【3】   │   │
│  │  • 分布式软总线 - 低时延设备组网与多端通信【3】                │   │
│  │  • Service Collaboration Kit - 跨端能力互调                   │   │
│  └─────────────────────────────────────────────────────────────┘   │
│  ┌─────────────────────────────────────────────────────────────┐   │
│  │        安全隐私 (Security & Privacy)                          │   │
│  │  • DataProtection Kit - 数据加密存储                         │   │
│  │  • Device Security Kit - 密钥管理与安全隔离                   │   │
│  └─────────────────────────────────────────────────────────────┘   │
├─────────────────────────────────────────────────────────────────────┤
│                    底层硬件 (NPU/GPU/Camera/IMU)                     │
└─────────────────────────────────────────────────────────────────────┘
```

### 核心技术能力清单

| 能力/Kit               | 用途说明                                                     | API 参考                                                     |
| ---------------------- | ------------------------------------------------------------ | ------------------------------------------------------------ |
| **AR Engine**          | 空间感知、平面检测、光照估计、3D物体跟踪——让虚拟信息精准锚定在真实商品上【6】 | `AREngine.Core` Session/Frame 管理【0】；平面检测与空间语义理解【6】 |
| **盘古端侧大模型**     | 多模态商品图像识别——分析摄像头画面中的商品图像，精准识别 SKU、品牌、品类信息【1】【8】 | ModelBox AI 框架 + 盘古端侧推理 API【1】                     |
| **MindSpore Lite**     | 端侧轻量化模型推理——部署商品识别、新鲜度评分、OCR 等模型，利用 NPU 实现毫秒级响应【0】【8】 | 华为 NPU 接口 + 模型转换工具链【8】                          |
| **分布式数据对象 DDO** | 跨设备实时数据同步——门店后台价格变动自动同步至顾客设备，数据延迟控制在秒级【2】【3】 | `distributedDataObject` 模块；SessionId 设备组网【3】        |
| **分布式软总线**       | 多设备高效组网通信——构建门店后台与顾客设备之间的实时通信通道，传输延迟<20ms【3】 | 分布式软总线 NDK API【3】                                    |
| **Camera Kit**         | 相机流管理——支持多分辨率预览、图像帧捕获，为 AI 识别提供高画质输入帧【8】 | Camera Kit 流式拍照 API                                      |
| **DataProtection Kit** | 用户浏览数据加密存储——保障用户商品浏览日志、新鲜度偏好等数据在设备安全隔离【0】 | DLP 数据防泄漏 API                                           |

## 🔧 详细开发逻辑说明

### 1. AR空间感知与平面检测模块

**技术原理**：HarmonyOS AR Engine 提供了基于视觉惯性里程计（VIO）的**同步定位与地图构建**能力。它融合设备 IMU 数据（加速计、陀螺仪）与 Camera 视觉特征点，实时计算并更新设备在空间中的 6 自由度位姿，并通过多帧累积构建环境点云与平面信息【6】。

**系统交互流程**：
```typescript
// 1. 启动 AR 会话，传入相机预览 Surface
const arSession: ARSession = new ARSession();
arSession.resume();

// 2. 获取当前会话的 AR 帧，访问平面检测数据
const arFrame: ARFrame = arSession.getLatestFrame();

// 3. 获取所有检测到的平面（货架水平面/商品摆放面）
const planes: ARPlane[] = arFrame.getDetectedPlanes();

// 4. 为每个平面订阅触摸交互，计算商品空间锚点
const hitResults: ARHitTestResult[] = arFrame.hitTest(screenX, screenY);
```

**货架环境的关键优化**：生鲜超市货架区域通常包含多排货柜，需要处理复杂的光照条件（日光灯 + 商品柜台灯 + 潜在的面光反射）。通过配置 AR Engine 的光照估计模式，可以实现虚拟标签亮度与真实环境自适应匹配。

### 2. 多模态商品识别与新鲜度评估模块

**技术原理**：调用 HarmonyOS 盘古端侧大模型的**多模态理解能力**，将摄像头捕获的图像帧实时输入 AI 模型推理【1】【8】。识别过程融合了视觉图像 + 包装文字（OCR）的双路数据，兼顾 SKU 判断和最佳赏味期解析。

**多模态推理流程**：
```typescript
import { Model, ModelConfig } from '@ohos.ai.model;

// 1. 加载轻量化盘古多模态模型
const model: Model = createModel('pangu_multimodal_retail.ms');
const session = new ModelSession(model);
session.load();

// 2. 构建多模态输入：图像帧 + 包装文字（可选）
const imageTensor: Tensor = await convertFrameToTensor(cameraFrame);
const ocrResult: string = await runOCR(cameraFrame);
const multimodalInput = { image: imageTensor, text: ocrResult };

// 3. 执行端侧推理，获取商品 SKU 理解结果
const result = await session.execute(multimodalInput);
// 返回：{ sku: "123456", brand: "丹东草莓", price: 35.9 }
```

**新鲜度评估算法**：模型结合商品时效标签（生产日期/上架时间）与图像特征（颜色饱和度、霜冻凝结程度等）进行综合评分。针对水果的不同新鲜度等级（优/良/中/低）输出差异化的用户提示文案，并给出储存建议。

### 3. 分布式实时价签同步模块

**技术原理**：采用 HarmonyOS 的**分布式数据对象**实现跨设备零配置的实时数据同步。门店后台设备（平板/PC）与多个顾客移动端信任设备通过设置相同的 **SessionId**，将价格、促销、有效期等数据对象状态在可信组网内秒级同步【2】【3】。

**分布式数据通信实现**：
```typescript
import distributedData from '@ohos.data.distributedData';

// 门店后台端：创建分布式数据对象与数据变更监听器
const storePriceModel = new distributedData.DistributedObject();
storePriceModel.setSessionId('Store-Beijing-Haidian');
storePriceModel.set('sku_123456_price', 35.9);
storePriceModel.on('status', (sessionId, networkId, status) => {
    console.log('Data synced to all participants');
});

// 顾客移动端：加入同一 Session，自动接收价格更新
const customerDataModel = new distributedData.DistributedObject();
customerDataModel.setSessionId('Store-Beijing-Haidian');  // 相同会话 ID
customerDataModel.on('change', (sessionId, changeData) => {
    if (changeData.key === 'sku_123456_price') {
        refreshARPriceTag(changeData.value);  // 实时刷新 AR 显示的标签
    }
});
```

**分布式软总线辅助架构**：多台顾客设备同时连接门店后台，分布式软总线负责设备发现、组网管理和多播传输。软总线的高吞吐和低于 20ms 延迟特性，可保证多人同时扫描时系统的流畅运行【3】。

### 4. 端到端数据流的完整闭环

1. **顾客动作**：手机打开 SmartShelf App，对准货架商品
2. **系统采集**：Camera Kit 捕获视频帧，AR Engine 同步跟踪空间位姿并检测平面【6】
3. **端侧识别**：盘古多模态大模型对当前帧进行毫秒级推理，输出 SKU、品牌、品类【1】
4. **数据查询**：根据 SKU 访问本地缓存的商品信息（或通过分布式数据库向门店后台请求实时数据）【2】
5. **AR 渲染**：使用 AR Engine 的 HitTest 将虚拟 3D 标签锚定在商品实际位置，叠加价格、新鲜度、优惠等信息【0】【6】
6. **后台联动**：门店后台价格变更通过分布式数据对象触发顾客端的价格标签刷新推送【2】【3】
7. **隐私保障**：用户扫描图片与偏好日志始终保留在端侧，不上传云端

## 📂 项目结构

```
SmartShelf/
├── entry/                         # 主应用模块（顾客端）
│   ├── src/main/
│   │   ├── ets/
│   │   │   ├── entryability/      # 应用入口
│   │   │   ├── pages/             # UI界面（扫描页、商品详情、历史浏览）
│   │   │   ├── ar_engine/         # AR Engine 封装模块
│   │   │   │   ├── ARSessionManager.ts    # AR会话管理与生命周期
│   │   │   │   ├── PlaneDetector.ts       # 货架平面检测与过滤
│   │   │   │   └── ARLabelRenderer.ts     # 3D标签渲染与锚定
│   │   │   ├── ai_engine/         # 端侧AI多模态识别模块
│   │   │   │   ├── MultimodalRecognition.ts # 盘古大模型推理调用
│   │   │   │   ├── FreshnessScorer.ts      # 新鲜度评分算法
│   │   │   │   └── OCRParser.ts            # 包装OCR文字解析
│   │   │   ├── distributed/       # 分布式数据同步模块
│   │   │   │   ├── PriceSyncManager.ts     # 价格变动监听与刷新
│   │   │   │   └── StoreDataModel.ts       # DDO数据对象封装
│   │   │   ├── security/          # 安全存储模块
│   │   │   │   └── UserDataProtector.ts   # 浏览记录加密
│   │   │   └── models/            # 数据模型定义
│   │   └── module.json5
│   └── ohosTest/                  # 单元测试
├── store_backend/                 # 门店管理后台模块
│   └── web_console/               # 后台价格管理Web控制台
├── shared/                        # 共享能力层（顾客端+后台公用）
├── docs/                          # 技术文档
├── models/                        # 预置AI模型文件
└── README.md
```

## 🚀 开发环境与快速开始

### 环境要求
- **操作系统**：HarmonyOS 6.1 及以上
- **开发工具**：DevEco Studio 5.0+
- **真机推荐**：华为 Pura 80 / Pura 90 系列或搭载麒麟 NPU 芯片 + ToF 摄像头的设备
- **软件依赖**：HarmonyOS SDK / AR Engine Core Library / MindSpore Lite

### 快速集成关键步骤

1. **应用工程配置**：`entry` 模块 `oh-package.json5` 增加 AR Engine、分布式数据对象、盘古 AI 引擎等依赖。
2. **权限声明（module.json5）**：添加 CAMERA（相机）、DISTRIBUTED_DATASYNC（分布式数据同步）、网络访问与存储权限。
3. **模型文件准备**：将轻量化盘古多模态模型文件放置到 `entry/src/main/resources/rawfile` 目录。模型需经 MindSpore Lite 工具链转换为 `ms` 格式。由于官方 `pangu_multimodal_retail.ms` 暂未公开发布，MVP 阶段可先用较小规格的 OCR + 分类模型联合完成零售 SKU 基础识别。

```typescript
// 模型动态加载示例
const modelConfig: ModelConfig = {
    device: 'NPU',
    modelFile: getContext().resourceManager.getRawFileContent('pangu_multimodal_retail.ms'),
    inputShape: [1, 3, 224, 224]
};
```

4. **后台服务器搭建**：门店后台使用 Node.js + Express 构建 REST API，管理商品 SKU 数据库和定价信息，并通过分布式数据对象与顾客端保持同步【2】。
5. **编译运行**：连接支持 NPU 的真机进行调试（模拟器不支持 AR Engine 及 NPU 加速），启动应用后授予相机权限即可体验。

## 📊 API 调用详细说明

| 模块               | API/Kit                             | 业务调用样例                                                 | 说明                                       |
| ------------------ | ----------------------------------- | ------------------------------------------------------------ | ------------------------------------------ |
| **AR空间感知**     | AR Engine 的 `ARSession`、`ARFrame` | `arFrame.getDetectedPlanes()` 获取货架平面数据；光线估计获取环境照度 `arFrame.getLightEstimate().intensity`【6】 | 为3D信息叠加提供空间锚点与环境亮度自适应   |
| **多模态图像识别** | 盘古端侧推理 API、ModelBox          | `modelSession.execute(multimodalInput)` 传入图像帧与OCR文本，返回 SKU 识别结果【1】【8】 | 精准商品识别，多模态引擎提升复杂情况准确度 |
| **分布式实时同步** | 分布式数据对象、分布式软总线        | `distributedData.DistributedObject.setSessionId("Store-...");` 建立分布式同步通道【2】【3】 | 价格变动秒级触达所有顾客设备               |

## 🔮 未来规划

- [ ] 部署 **Retail AI 2.0 版本**：引入 3D 物体跟踪技术，实现商品在顾客移动购物过程中的持续锚定与识别，让用户在货架前自由走动时，虚拟信息始终跟随【0】。
- [ ] 与大型商超合作试点（美宜佳、物美等），验证规模化门店系统的稳定与可运维性【4】。
- [ ] 升级 **HarmonyOS 7.0 Beta 分布式协同调度**：利用超级终端算力池化，将商品识别中的复杂图像推理任务智能调度至周边闲置设备（如展示平板、智慧屏）分担处理，提升大规模并发扫描时的系统吞吐量【3】。

## 👥 团队信息

| 成员       | 角色                | 主要贡献                                      |
| ---------- | ------------------- | --------------------------------------------- |
| 严学峰     | 全栈开发 + 架构设计 | AR Engine 模块集成、分布式数据同步、后台搭建  |
| （待招募） | AI 工程师           | 盘古多模态模型调优、端侧推理、新鲜度评分模型  |
| （待招募） | 前端开发            | ArkUI 界面实现、AR 标签动画渲染、用户交互设计 |

**参赛赛道**：2026 HarmonyOS创新赛·极客赛道  
**创意归属**：四大创新主题全涉及（3D空间化、AI智能化、全场景一体协同、安全隐私保护）

## 📄 许可证

本项目采用 **Apache 2.0** 开源协议。

## 📞 联系方式

- Gitee仓库：[https://gitee.com/yanxuefeng/smartshelf](https://gitee.com/yanxuefeng/smartshelf)  
- 问题反馈：[Issues](https://gitee.com/yanxuefeng/smartshelf/issues)  
- 赛事交流：[华为开发者论坛](https://developer.huawei.com/consumer/cn/forum/)

> **注**：本项目为 2026 HarmonyOS 创新赛参赛作品。AI 多模态模型需自行训练压缩并在 HarmonyOS 6.1+ 设备上部署测试。MVP 原型阶段可简化为 SKU 对照表 + 模拟价格推送，以快速验证 AI+AR+分布式 三大核心方向的可集成性。

**🌟 如果你相信“拿起手机扫一扫，货架商品‘开口说话’”的沉浸式购物是智慧零售的未来，请为我们点亮一颗星！**