第四章图片感知元素理论

第四章

图片感知元素理论

Image Perception Element Model

作者：东塬一老翁

技术支持：WSaiOS多模态智能技术研发工作室

资料来源：wsaios.cn

4.1 图片在 WSaiOS 感知体系中的定义

图片是人类视觉系统获取外部环境信息的重要方式。

人通过一张图片，可以感知：

物体；

颜色；

形状；

空间位置；

环境结构；

对象关系。

但是，图片本身只是视觉数据。

它并不是认知对象。

WSaiOS 将图片定义为：

图片是一种静态视觉信息载体，通过视觉感知处理后，可以转换为具有对象、属性、状态和关系描述能力的图片感知元素集合。

转换过程：

图片数据 Image Data

↓

图片解析 Image Processing

↓

图片感知元素 Image Perception Elements

↓

认知元素 Cognitive Elements

↓

理解 Understanding

4.2 图片作为静态认知输入

Image as Static Cognitive Input

图片最大的特点：

静态结构表达

它描述：

某一个时间点上的空间状态。

例如：

一张工厂图片：

原始输入：

Image

1920×1080 Pixels

经过视觉解析：

得到：

设备

人员

生产线

区域

进一步形成：

Factory Scene Element

因此：

图片主要提供：

空间信息

包括：

对象存在；

对象位置；

对象形态；

对象关系。

图片不直接表达：

连续变化。

变化需要：

视频元素。

4.3 图片感知元素组成

Structure of Image Perception Element

WSaiOS 将图片转换为元素对象。

基本结构：

Image Element

{

ID

Type

Object

Attribute

State

Position

Relation

Confidence

Function

}

4.3.1 ID（元素标识）

用于唯一识别图片中的元素。

例如：

person_001

machine_001

table_001

作用：

保证元素可追踪。

4.3.2 Type（元素类型）

表示：

元素属于什么类别。

例如：

Person

Vehicle

Device

Animal

Building

Environment

类型决定：

后续认知方式。

例如：

Person：

关注：

身份；

行为；

状态。

Machine：

关注：

工作状态；

故障状态。

4.3.3 Object（对象）

对象是图片元素核心。

表示：

图片中的实体。

例如：

图片：

办公室

对象：

Person

Desk

Computer

Chair

WSaiOS 认为：

视觉系统不是处理像素。

而是发现对象。

4.3.4 Attribute（属性）

属性描述对象特征。

例如：

人物：

Height

Clothing

Color

Shape

汽车：

Brand

Color

Model

设备：

Size

Structure

Material

属性模型：

Object

↓

Attribute Set

数学表示：

A(e)={a1,a2,a3,…,an}A(e)=\{a_1,a_2,a_3,…,a_n\}A(e)={a1​,a2​,a3​,…,an​}

其中：

A(e)

表示元素属性集合。

4.3.5 State（状态）

状态描述对象当前情况。

例如：

设备：

Normal

Running

Stopped

Broken

人员：

Standing

Sitting

Walking

状态：

不是固定属性。

而是动态变化。

4.3.6 Position（空间位置）

图片天然包含空间信息。

位置模型：

Position

{

X

Y

Width

Height

Depth

}

例如：

{

"x":100,

"y":200,

"width":80,

"height":180

}

表示：

对象在图片中的位置。

4.3.7 Relation（对象关系）

人理解图片：

不是只看单个对象。

而是理解关系。

例如：

图片：

Person

Computer

Desk

关系：

Person

↓

Using

↓

Computer

Computer

↓

Located_On

↓

Desk

关系模型：

R(e1,e2)R(e_1,e_2)R(e1​,e2​)

表示：

元素之间关系。

4.4 图片对象分解模型

Image Object Decomposition Model

复杂图片：

由多个视觉元素组成。

例如：

一张办公室图片：

整体：

Office Image

分解：

Office Scene

├ Person

├ Desk

├ Computer

├ Chair

└ Lighting

对象分解过程：

Image

↓

Region Analysis

↓

Object Detection

↓

Object Elements

4.5 图片属性提取模型

Image Attribute Extraction Model

对象确定以后：

需要提取属性。

过程：

Object

↓

Feature Extraction

↓

Attribute Generation

例如：

检测汽车：

得到：

Object:

Car

Attribute:

Color=Black

Shape=Sedan

State=Stopped

形成：

汽车图片感知元素。

4.6 图片空间关系模型

Spatial Relation Model

空间关系是视觉认知的重要组成。

人看到：

办公室。

不是：

10个物体。

而是：

一个空间场景。

空间关系包括：

1. 位置关系

例如：

Person

Left_of

Computer

2. 距离关系

例如：

Person

Near

Desk

3. 包含关系

例如：

Computer

Inside

Office

4. 拓扑关系

例如：

Room

Connected_With

Hallway

空间关系模型：

Element A

↓

Relation

↓

Element B

4.7 图片场景生成模型

Image Scene Generation Model

单个元素：

不能表达完整环境。

需要组织。

例如：

元素：

Person

Computer

Desk

组织：

Person Using Computer

Computer On Desk

生成：

Office Working Scene

过程：

Image Elements

↓

Element Organization

↓

Relation Construction

↓

Scene Element

4.8 图片场景理解模型

Image Scene Understanding

场景理解是：

从对象到意义的过程。

例如：

图片：

看到：

Person

Laptop

Desk

简单识别：

有人

有电脑

有桌子

场景理解：

这是办公环境

人员正在工作

WSaiOS：

场景理解：

不是依靠概率标签。

而是：

元素+关系+规则。

模型：

Scene=Element+Relation+RuleScene= Element+ Relation+ RuleScene=Element+Relation+Rule

4.9 图片元素生成系统模型

WSaiOS 视觉生成系统：

不仅可以理解图片。

也可以根据元素生成图片场景。

核心思想：

图片由元素组合产生。

例如：

创建办公室图片：

元素：

Person

Desk

Computer

Chair

赋值：

Person:

Position=A

Desk:

Position=B

Computer:

On Desk

组合：

生成：

Office Image Scene

模型：

Element Library

↓

Element Parameters

↓

Scene Composition

↓

Image Generation

4.10 图片元素对象化模型

参考面向对象思想：

图片元素：

不是图片碎片。

而是对象。

例如：

class ImageElement

{

public $type;

public $attribute;

public $position;

public $state;

public function compose()

{

}

}

工程表达：

{

"type":"Tree",

"attribute":{

"color":"green",

"height":"2m"

},

"position":{

"x":100,

"y":300

}

}

这种结构：

可以支持：

图片理解；

图片生成；

场景编辑；

场景模拟。

4.11 本章总结

图片感知元素模型建立：

图片 → 元素 → 场景 → 理解

体系。

核心观点：

图片是静态视觉输入；

图片由多个视觉元素组成；

元素具有属性、状态、位置、关系；

对象关系形成场景；

场景组织形成理解；

元素参数化可以支持图片生成。

最终模型：

Image Data

↓

Image Element

↓

Object Element

↓

Attribute

↓

Spatial Relation

↓

Scene Element

↓

Cognitive Element

下一章：

第五章

视频感知元素

Video Perception Element Model

重点：

视频作为动态认知输入；

视频元素组成；

时间连续；

行为元素；

事件元素；

状态变化；

视频场景理解。