数据集 - 未注册的版本海平线,海平线工作室

2025-4-28

瓷砖缺陷检测数据集VOC+YOLO格式2871张7类别数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数)：2871 标注数量(xml文件个数)：2871 标注数量(txt文件个数)：2871 标注类别数：6 标注类别名称(注意yolo格式类别顺序不和这个对应，而以labels文件夹classes.txt为准):["1","2","3","4","5","6"] { "0": "背景", "1": "边异常", "2": "角异常", "3": "白色点瑕疵", "4": "浅色块瑕疵", "5": "深色点块瑕疵", "6": "光圈瑕疵" } 每个类别标注的框数： 1 框数 = 279 2 框数 = 1146 3 框数 = 1185 4 框数 = 538 5 框数 = 4705 6 框数 = 187 总框数：8040 使用标注工具：labelImg 标注规则：对类别进行画矩形框重要说明：暂无特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注

2025年-4月-28日
9 阅读
0 评论

人工智能

2025-4-28

齿轮缺陷检测数据集VOC+YOLO格式7742张3类别数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数)：7742 标注数量(xml文件个数)：7742 标注数量(txt文件个数)：7742 标注类别数：3 标注类别名称(注意yolo格式类别顺序不和这个对应，而以labels文件夹classes.txt为准):["break","lack","scratch"] 每个类别标注的框数： break 框数 = 2620 lack 框数 = 2568 scratch 框数 = 11045 总框数：16233 使用标注工具：labelImg 标注规则：对类别进行画矩形框重要说明：暂无特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注图片预览：标注例子：

2025年-4月-28日
7 阅读
0 评论

人工智能

2025-4-28

2025年-4月-28日
8 阅读
0 评论

人工智能

2025-4-28

2025年-4月-28日
8 阅读
0 评论

人工智能

2025-4-27

2025年-4月-27日
11 阅读
0 评论

人工智能

2025-4-27

陶瓷绝缘子缺陷检测数据集VOC+YOLO格式2908张3类别数据集中存在部分增强，具体看图片数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数)：2908 标注数量(xml文件个数)：2908 标注数量(txt文件个数)：2908 标注类别数：3 标注类别名称(注意yolo格式类别顺序不和这个对应，而以labels文件夹classes.txt为准):["broken","flashover","insulator"] 每个类别标注的框数： broken 框数 = 3817 flashover 框数 = 782 insulator 框数 = 2557 总框数：7156 使用标注工具：labelImg 标注规则：对类别进行画矩形框重要说明：暂无特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注图片预览：标注例子：

2025年-4月-27日
7 阅读
0 评论

人工智能

2025-4-27

基于Pytorch 在昇腾上实现GCN图神经网络本文主要介绍了如何在昇腾上，使用pytorch对经典的图神经网络GCN在论文引用Cora数据集上进行分类训练的实战讲解。内容包括GCN背景介绍、模型特点介绍、GCN网络架构剖析与GCN网络模型代码实战分析等等。本文的目录结构安排如下所示： GCN网络背景介绍模型特点介绍 GCN网络架构剖析 GCN网络用于Cora数据集分类实战 GCN网络背景介绍多层感知机、卷积神经网络、循环神经网络和自编码器等深度学习模型通过对输入的数据进行逐层的特征提取和筛选，可以完成分类和预测等任务，在计算机视觉和语音识别等领域已被广泛应用。但上述模型只能处理具有固定排列规则和顺序的欧氏结构数据，对于一些非规则排布的非欧式数据显得有些则力不从心。随着非欧式数据结构被越来越多的实际问题应用所需要，针对处理非欧氏结构数据的深度学习模型图神经网络（Graph Neural Networks, GNN）应运而生。图神经网络的本质就是：图中的任何一个节点，都受到和它相连的其他节点的影响，距离越近影响则越大。一个图中的所有节点间的互动关系和每个节点本身的信息，就构成了这整张图的全部信息。由于CNN已经是个相当成熟的技术了，聚合"邻居"的信息并不是什么少见的思路。显然，从GNN出现开始，就必然会有人尝试在GNN上进行类似CNN的"聚合节点信息"操作。事实上在GCN之前，就已经有一些关于类似的研究了。但不外乎存在计算量大、聚合效果差、卷积核复杂的问题。模型特点介绍 GCN是GNN的一个分支，全称为图卷积神经网络，顾名思义，GCN是在图上进行"卷积"操作的GNN，这里用引号是因为，GCN的操作并不是卷积神经网络里的那个卷积，这里的卷积，是因为GCN的运算是在聚合节点周围其他节点的信息，与卷积神经网络（CNN）的行为类似。不过话说回来，CNN里的"卷积"，也并不是不是数学意义上的卷积。 GCN的创新之处在于，提出了一种简化到在计算量上可行且效果好的"卷积"计算方案。GCN利用拉普拉斯变换变化，利用邻接矩阵算出了这个滤波矩阵，然后利用这个滤波矩阵进行层间传播。其迭代间节点核心更新计算公式如下：其中表示邻接矩阵的度矩阵，表示整张图的邻接矩阵（含自回环，也就是加了单位矩阵），X表示节点在k-1层的特征向量，是k-1层的卷积参数。 GCN的上述公式表达的是从整个图的角度来考虑和描述的。从单个节点来说，每个节点的特征向量可以表示为的变换 (前向传播) 的向量形式可以表示为如下：其中是权重矩阵 (即模型学习过程中要更新的参数)，表示节点i在第k次迭代的特征向量，deg(i)表示节点i的度，N(i)表示节点i所有邻接节点的集合。 GCN网络架构剖析 GCN定义了一个两层的模型，中间隐藏的节点个数可以自设，后面输出层可以结合具体数据集类别设置使用，当然也可以跟训练类别设置不一致，只需要在后面接一个分类器即可(后再接一个全连接层)。 MessagePassing模块是图神经网络（Graph Neural Networks，GNNs）的一个基础组件，它被设计用来处理图形数据的问题。在图形数据中，数据点（节点）之间的关系（边）是非常重要的信息。MessagePassing通过在节点之间传递和聚合信息，使得每个节点都能获取其邻居节点的信息，从而更好地理解图形的结构和特性。里面'propagate'函数与'aggregate'函数用于实现节点之间的传播与聚合功能。 # 导入torch及相关库，便于后续搭建网络调用基础算子模块 import torch import torch.nn.functional as F from torch_geometric.nn import MessagePassing 在图神经网络（GNN）的实现中，对图结构的调整和优化是提升模型性能的关键手段之一。'add_self_loops'函数在PyTorch的图处理库中用于向图中添加自环（self-loops），即连接节点自身的边。'degree'用来计算一个无权图的入度矩阵。 from torch_geometric.utils import add\_self\_loops, degree GCN实现继承了'MessagePassing'类，线性变换功能在'init'函数中通过'self.lin'为线性变换函数定义，具体特征维度的逻辑在'forward()'中实现，'init'函数中入参'in_channel'是每个节点输入特征的维度，'out_channels'是每个节点输出特征的维度，这一部分对应上述公式中的X。输入的特征矩阵维度是(N, in_channels)，输出的特征矩阵维度是(N, out_channels)，其中 N 是节点个数。在'forward()'函数中'edge_index, _ = add_self_loops(edge_index, num_nodes=x.size(0))'是给邻接矩阵加上self loops，也即构造出矩阵，在torch geometric中，无权图的邻接矩阵表示为2维数组(COO存储格式)，第1行表示边的起始节点(source 节点)，第2行表示边的目标节点(target节点)。对于'message()'函数而言，函数入参'x_j' 的形状是\[E, out_channels\]，其中E表示边的数量。由上面可知，特征矩阵经过线性变换后的输出形状是(N, out_channels)，边的矩阵的形状为 \[2, E\]。'row, col = edge_index'表示取出所有边的起始节点和目标节点，row表示边的起始节点的结合，col表示边的目标节点的集合。在无向图中，这两者是等价的。以target节点作为索引，从线性变换后的特征矩阵中索引得到target节点的特征矩阵。 class GCNConv(MessagePassing): def __init__(self, in_channels, out_channels): # "Add" aggregation. super(GCNConv, self).__init__(aggr='add') self.lin = torch.nn.Linear(in\_channels, out\_channels) def forward(self, x, edge_index): # x has shape \[N, in_channels\] # edge_index has shape \[2, E\] # Step 1: Add self-loops to the adjacency matrix. edge_index, _ = add_self_loops(edge_index, num_nodes=x.size(0)) # Step 2: Linearly transform node feature matrix. x = self.lin(x) # Step 3-5: Start propagating messages. return self.propagate(edge_index, size=(x.size(0), x.size(0)), x=x) def message(self, x_j, edge_index, size): # x_j has shape [E, out_channels] # edge_index has shape [2, E] # Step 3: Normalize node features. row, col = edge_index # [N, ] deg = degree(row, size[0], dtype=x_j.dtype) # [N, ] deg_inv_sqrt = deg.pow(-0.5) norm = deg_inv_sqrt[row] * deg_inv_sqrt[col] return norm.view(-1, 1) * x_j def update(self, aggr_out): # aggr_out has shape [N, out_channels] # Step 5: Return new node embeddings. return aggr_out 上述类目前已经集成在torch_geometric.nn模块中，也可以使用下述一行代码替换 'from torch_geometric.nn import GCNConv' 导入GCN层替换GCNConv类定义。 Planetoid集成了论文引用中Cora，CiteSeer，PubMed三个数据集，由于本实验需要用到Cora数据集，因此此处需要导入该模块用于加载数据集。 from torch_geometric.datasets import Planetoid 定义GCN_NET图网络，中间构造一个隐藏层用来辅助实现线性转换过程。 class GCN_NET(torch.nn.Module): def __init__(self, features, hidden, classes): super(GCN_NET, self).__init__() # shape（输入的节点特征维度 * 中间隐藏层的维度） self.conv1 = GCNConv(features, hidden) # shaape（中间隐藏层的维度 * 节点类别） self.conv2 = GCNConv(hidden, classes) def forward(self, data): # 加载节点特征和邻接关系 x, edge_index = data.x, data.edge_index # 传入卷积层 x = self.conv1(x, edge_index) # 激活函数 x = F.relu(x) # dropout层，防止过拟合 x = F.dropout(x, training=self.training) # 第二层卷积层 x = self.conv2(x, edge_index) # 将经过两层卷积得到的特征输入log_softmax函数得到概率分布 return F.log_softmax(x, dim=1) GCN网络用于Cora数据集分类实战本实验需要跑在npu上，因此需要导入Npu相关库，以便于模型能够跑在Npu上。 import torch_npu from torch_npu.contrib import transfer_to_npu /home/pengyongrong/miniconda3/envs/AscendCExperiments/lib/python3.9/site-packages/torch_npu/dynamo/init.py:18: UserWarning: Register eager implementation for the 'npu' backend of dynamo, as torch_npu was not compiled with torchair.warnings.warn(/home/pengyongrong/miniconda3/envs/AscendCExperiments/lib/python3.9/site-packages/torch_npu/contrib/transfer_to_npu.py:164: ImportWarning: The torch.Tensor.cuda and torch.nn.Module.cuda are replaced with torch.Tensor.npu and torch.nn.Module.npu now..The torch.cuda.DoubleTensor is replaced with torch.npu.FloatTensor cause the double type is not supported now..The backend in torch.distributed.init_process_group set to hccl now.. The torch.cuda.\* and torch.cuda.amp.\* are replaced with torch.npu.\* and torch.npu.amp.\* now.. The device parameters have been replaced with npu in the function below: torch.logspace, torch.randint, torch.hann_window, torch.rand, torch.full_like, torch.ones_like, torch.rand_like, torch.randperm, torch.arange, torch.frombuffer, torch.normal, torch._empty_per_channel_affine_quantized, torch.empty_strided, torch.empty_like, torch.scalar_tensor, torch.tril_indices, torch.bartlett_window, torch.ones, torch.sparse_coo_tensor, torch.randn, torch.kaiser_window, torch.tensor, torch.triu_indices, torch.as_tensor, torch.zeros, torch.randint_like, torch.full, torch.eye, torch._sparse_csr_tensor_unsafe, torch.empty, torch._sparse_coo_tensor_unsafe, torch.blackman_window, torch.zeros_like, torch.range, torch.sparse_csr_tensor, torch.randn_like, torch.from_file, torch._cudnn_init_dropout_state, torch._empty_affine_quantized, torch.linspace, torch.hamming_window, torch.empty_quantized, torch._pin_memory, torch.Tensor.new_empty, torch.Tensor.new_empty_strided, torch.Tensor.new_full, torch.Tensor.new_ones, torch.Tensor.new_tensor, torch.Tensor.new_zeros, torch.Tensor.to, torch.nn.Module.to, torch.nn.Module.to_empty\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\*warnings.warn(msg, ImportWarning) /home/pengyongrong/miniconda3/envs/AscendCExperiments/lib/python3.9/site-packages/torch_npu/dynamo/init.py:18: UserWarning: Register eager implementation for the 'npu' backend of dynamo, as torch_npu was not compiled with torchair.warnings.warn(/home/pengyongrong/miniconda3/envs/AscendCExperiments/lib/python3.9/site-packages/torch_npu/contrib/transfer_to_npu.py:164: ImportWarning: The torch.Tensor.cuda and torch.nn.Module.cuda are replaced with torch.Tensor.npu and torch.nn.Module.npu now..The torch.cuda.DoubleTensor is replaced with torch.npu.FloatTensor cause the double type is not supported now..The backend in torch.distributed.init_process_group set to hccl now.. The torch.cuda.\* and torch.cuda.amp.\* are replaced with torch.npu.\* and torch.npu.amp.\* now.. The device parameters have been replaced with npu in the function below: torch.logspace, torch.randint, torch.hann_window, torch.rand, torch.full_like, torch.ones_like, torch.rand_like, torch.randperm, torch.arange, torch.frombuffer, torch.normal, torch._empty_per_channel_affine_quantized, torch.empty_strided, torch.empty_like, torch.scalar_tensor, torch.tril_indices, torch.bartlett_window, torch.ones, torch.sparse_coo_tensor, torch.randn, torch.kaiser_window, torch.tensor, torch.triu_indices, torch.as_tensor, torch.zeros, torch.randint_like, torch.full, torch.eye, torch._sparse_csr_tensor_unsafe, torch.empty, torch._sparse_coo_tensor_unsafe, torch.blackman_window, torch.zeros_like, torch.range, torch.sparse_csr_tensor, torch.randn_like, torch.from_file, torch._cudnn_init_dropout_state, torch._empty_affine_quantized, torch.linspace, torch.hamming_window, torch.empty_quantized, torch._pin_memory, torch.Tensor.new_empty, torch.Tensor.new_empty_strided, torch.Tensor.new_full, torch.Tensor.new_ones, torch.Tensor.new_tensor, torch.Tensor.new_zeros, torch.Tensor.to, torch.nn.Module.to, torch.nn.Module.to_empty warnings.warn(msg, ImportWarning) Cora数据集介绍与加载 Cora数据集包含2708篇科学出版物，10556条边，总共7种类别，数据集中的每个出版物都由一个 0/1 值的词向量描述，表示字典中相应词的缺失/存在。该词典由1433个独特的词组成，意思就是说每一个出版物都由1433个特征构成，每个特征仅由0/1表示。如图，节点大小对应进出边的数量，节点越大表示进出边的数量越多，边的粗细反映对应两节点之间的相似或关联程度越高，也就是对彼此的影响力权重越大。由于cora数据集处理的是无向图，所以'in degree count'与'out degree count'分布图一致，底部的'nodes for a given out-degree'与'node degree'图统计的是数据集中出边的分布情况，可以看到峰值点出现在\[2, 4\]范围内，说明大多数的节点之间之间与少量的边进行相连，相连节点最多的边是图中绿色节点，约有169个节点相连。下载后的数据集总共包含8个文件分别是ind.cora.x、ind.cora.tx、ind.cora.all、ind.cora.y、ind.cora.ty、ind.cora.ally、ind.cora.graph与ind.cora.test.index。其中： ind.cora.x：训练集节点特征向量，大小（140,1433） ind.cora.tx：测试集节点特征向量，实际展开后大小为（1000,1433） ind.cora.allx：包含标签核无标签的训练节点特征向量（1708,1433） ind.cora.y：one-hot表示的训练节点的标签 ind.cora.ty：one-hot表示的测试节点的标签 ind.cora.ally：one-hot表示的ind.cora.allx对应的标签 ind.cora.graph：保存节点之间边的信息 ind.cora.test.index：保存测试集节点的索引，用于后面的归纳学习设置上述介绍完cora数据集的基本组成情况，接下来我们通过Planetoid集成库来下载cora数据集，下载好以后对数据集中一些基本的信息进行打印。 import numpy as np # 加载数据，出错可自行下载，解决方案见下文 print("===== begin Download Dadasat=====\\n") dataset = Planetoid(root='/home/pengyongrong/workspace/data', name='Cora') print("===== Download Dadasat finished=====\\n") print("dataset num_features is: ", dataset.num_features) print("dataset.num_classes is： ", dataset.num_classes) print("dataset.edge_index is： ", dataset.edge_index) print("train data is: ", dataset.data) print("dataset0 is: ", dataset\[0\]) print("train data mask is: ", dataset.train_mask, "num train is： ", (dataset.train_mask ==True).sum().item()) print("val data mask is: ",dataset.val_mask, "num val is： ", (dataset.val_mask ==True).sum().item()) print("test data mask is: ",dataset.test_mask, "num test is： ", (dataset.test_mask ==True).sum().item()) ===== begin Download Dadasat===== ===== Download Dadasat finished===== dataset num_features is: 1433 dataset.num_classes is： 7 dataset.edge_index is： tensor(\[\[ 633, 1862, 2582, ..., 598, 1473, 2706\], \[ 0, 0, 0, ..., 2707, 2707, 2707\]\]) train data is: Data(x=\[2708, 1433\], edge_index=\[2, 10556\], y=\[2708\], train_mask=\[2708\], val_mask=\[2708\], test_mask=\[2708\]) dataset0 is: Data(x=\[2708, 1433\], edge_index=\[2, 10556\], y=\[2708\], train_mask=\[2708\], val_mask=\[2708\], test_mask=\[2708\]) train data mask is: tensor(\[ True, True, True, ..., False, False, False\]) num train is： 140 val data mask is: tensor(\[False, False, False, ..., False, False, False\]) num val is： 500 test data mask is: tensor(\[False, False, False, ..., True, True, True\]) num test is： 1000 /home/pengyongrong/miniconda3/envs/AscendCExperiments/lib/python3.9/site-packages/torch_geometric/data/in_memory_dataset.py:300: UserWarning: It is not recommended to directly access the internal storage format \data\ of an 'InMemoryDataset'. If you are absolutely certain what you are doing, access the internal storage via \InMemoryDataset._data\ instead to suppress this warning. Alternatively, you can access stacked individual attributes of every graph via \dataset.{attr_name}\. warnings.warn(msg) 本文用到的实验数据集这里已经下载好并保存在"/home/pengyongrong/workspace/data"目录下，若没有下载好启动该命令会自动下载数据集，整个下载过程可能会比较慢，也可以在https://github.com/D61-IA/FisherGCN/tree/a58c1613f1aca7077ef90af6e51a8021548cdb4c/data 自行选择下载。从打印的信息可以看出来，每一个节点的特征维度为1433，也就是'datasat.numfeatures'的取值是1433;总的类别数是7，对应'datasat.numclasses'；'dataset.edge_index'表示所有边与边之间的互联关系，采用coo存储格式，因为这里是无权边，因此只需要二维数组即可完成对应功能。上述信息介绍完后就剩下训练集、验证集与测试集相关的信息，dataset\[0\]包含了所有信息，包括输入x，边信息、标签y及'train_mask'、'val_mask'与'test_mask'分别表示2708篇刊物中哪些用于训练，哪些用于验证及哪些用于测试。开启cora数据训练过程接下来就是将cora数据集送入搭建好的GCN网络模型中进行训练，训练过程中设置设备在npu上运行，并定义训练的'epoch=200'，迭代次数可以根据需要自行更改，训练完成后对模型的效果进行评估并打印预测的准确率约为0.8。 #设置成npu device = 'npu' print("device is: ", device) # 构建模型，设置中间隐藏层维度为16 model = GCN_NET(dataset.num_node_features, 16, dataset.num_classes).to(device) # 加载数据 data = dataset[0].to(device) # 定义优化函数 optimizer = torch.optim.Adam(model.parameters(), lr=0.01, weight_decay=5e-4) model.train() for epoch in range(200): # 梯度设为零 optimizer.zero_grad() # 模型输出 out = model(data) # 计算损失 loss = F.nll_loss(out[data.train_mask], data.y[data.train_mask]) # 反向传播计算梯度 loss.backward() # 一步优化 optimizer.step() # 评估模型 model.eval（) # 得到模型输出的类别 _, pred = model(data).max(dim=1) # 计算正确的个数 correct = int(pred[data.test_mask].eq(data.y[data.test_mask]).sum().item()) # 得出准确率 acc = correct / int(data.test_mask.sum()) # 打印准确率及结果 print('GCN Accuracy: {:.4f}'.format(acc)) device is: npuGCN Accuracy: 0.8040 内存使用情况：整个训练过程的内存使用情况可以通过"npu-smi info"命令在终端查看，因此本文实验只用到了单个npu卡（也就是chip 0），内存占用约167M，对内存、精度或性能优化有兴趣的可以自行尝试进行优化，这里运行过程中也有其他程序在运行，因此本实验用到的网络所需要的内存已单独框出来。 Reference========= \[1\] Heidari, Negar , L. Hedegaard , and A. Iosifidis . "Graph convolutional networks." Deep Learning for Robot Perception and Cognition (2022).

2025年-4月-27日
7 阅读
0 评论

人工智能

2025-4-27

绝缘子缺陷检测数据集VOC+YOLO格式795张4类别数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数)：795 标注数量(xml文件个数)：795 标注数量(txt文件个数)：795 标注类别数：4 标注类别名称(注意yolo格式类别顺序不和这个对应，而以labels文件夹classes.txt为准):["breakage","insulator","insulator_string_broken","pollution_flashover"] 每个类别标注的框数： breakage 框数 = 512 insulator 框数 = 974 insulator_string_broken 框数 = 239 pollution_flashover 框数 = 847 总框数：2572 使用标注工具：labelImg 标注规则：对类别进行画矩形框重要说明：暂无特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注图片预览：标注例子：

2025年-4月-27日
8 阅读
0 评论

人工智能

2025-4-22

入选AAAI 2025，浙江大学提出多对一回归模型M2OST，利用数字病理图像精准预测基因表达数字病理图像作为一种全切片病理图像 (WSIs)，能够对组织切片的高分辨率数字化呈现，全面展示细胞形态、结构和空间分布特征。与传统玻璃切片相比，WSIs 不仅便于存储和分析，还能在多个尺度上提供更直观的组织视图，因而在病理诊断与生物医学研究中应用日益广泛。通过对这些图像的分析，科研人员可以探索细胞空间组织与基因表达之间的内在联系，从而揭示多细胞系统中复杂的转录调控机制。近年来，空间转录组学 (Spatial Transcriptomics, ST) 作为单细胞 RNA 测序的空间延伸技术，已成为研究细胞亚型分布、互作关系和分子机制的重要工具。然而，受限于其高昂的设备和试剂成本，ST 技术在实际应用中仍面临普及难题。相较之下，WSIs 更具经济性和可及性，在临床应用上更为经济且易于获取。因此，如何借助深度学习手段，从 WSIs 中低成本重建 ST 图谱，成为一个备受关注的研究方向。现有方法多将 ST 预测问题视为传统的回归问题，使用单级图像 - 标签对进行训练。这使得它们只能对最大放大倍数图像的基因表达关系进行建模，浪费了 WSIs 固有的多尺度信息。基于这一问题，中国浙江大学的林兰芬教授研究团队联合浙江杭州之江实验室以及日本立命馆大学共同提出了 M2OST，这是一种多对一回归 Transformer 模型，旨在利用不同层次的病理图像共同预测基因表达。通过整合 WSIs 中的采样点视觉信息和多尺度特征，该模型能够生成更准确的 ST 图谱。此外，研究团队还将多对一的多层特征提取过程解耦为层内特征提取和跨层特征提取，在不影响模型性能的情况下大大降低了计算成本，优化了计算效率。相关成果以「M2OST: Many-to-one Regression for Predicting Spatial Transcriptomics from Digital Pathology Images」为题，入选 AAAI 2025。研究亮点：将 ST 预测问题概念化为多对一建模问题，利用分层结构 WSIs 中嵌入的多尺度信息和点间特征，联合预测 ST 图谱提出基于多对一回归的 Transformer 模型 M2OST，对不同序列长度的输入集具有鲁棒性将 M2OST 中的多尺度特征提取过程解耦为层内特征提取和跨层特征提取，在不影响模型性能的情况下显著提高了计算效率对提出的 M2OST 方法进行了全面的实验，并在 3 个公开的 ST 数据集上证明了其有效性论文地址：https://arxiv.org/abs/2409.15092 关注公众号，后台回复「M2OST」获取完整 PDF 开源项目「awesome-ai4s」汇集了 200 余篇 AI4S 论文解读，并提供海量数据集与工具： https://github.com/hyperai/awesome-ai4s 数据集：使用 3 个 ST 数据集证明其有效性研究团队使用了 3 个公开的 ST 数据集来评估所提出的 M2OST 模型的性能： *人类乳腺癌数据集 (HBC)：包含 68 个 WSI 中的 30,612 个点位，每个点位至多有 26,949 个不同的基因。该数据集中的点直径为 100μm，以 200μm 的中心距排列成网格。 *人类阳性乳腺肿瘤数据集 (HER2)：由 36 个病理图像和 13,594 个点位组成，每个点位包含 15,045 个已记录的基因表达数据。该数据集中的 ST 数据每个捕获点之间的中心距为 200μm，每个点的直径为 100μm。 *人类皮肤鳞状细胞癌数据集 (cSCC)：包括 12 个 WSI 和 8,671 个点位。该数据集中的每个点位都对 16,959 个基因进行了分析。所有点的直径为 110μm，排列成中矩形点阵，中心距为 150μm。 M2OST 模型：多对一回归结构，多层次病理图像共同预测基因表达近年来，从全切片病理图像 (WSIs) 中预测空间转录组 (ST) 图谱成为当前数字病理学领域中的研究热点。早期方法如 ST-Net 和 DeepSpaCE 基于卷积神经网络 (CNN) 进行图像块级别的 ST 预测。近期发布的双模态嵌入框架 BLEEP 引入对比学习策略，将 WSI 图像块特征与 ST 点嵌入对齐，并引入 K 近邻算法缓解推理阶段的批次效应问题。随着基于 Transformer 的模型兴起，其性能已超越传统 CNN。深度学习模型 HisToGene 首次将 Transformer 引入基因表达预测，实现玻片级建模，提升了效率但仍受限于计算资源。Hist2ST 模型在此基础上融合 CNN、Transformer 与图神经网络，进一步捕捉长距离依赖，但其复杂的模型结构也导致过拟合风险上升。与主流关注采样点间相关性的思路不同，基于分层图像特征提取的方法 iStar，强调采样点内的基因表达仅与其对应的图像块区域相关，采用预训练的 HIPT 进行特征提取，并通过 MLP 映射至表达值，性能优越，但由于特征不可学习，仍存在进一步优化空间。研究团队受此启发，M2OST 同样采用了图像块级方案，一次预测一个采样点，确保每个预测的独立性与准确性。研究团队还进一步拓展了 iStar 的思路，设计了一套可学习的多尺度特征提取与融合模块，通过对局部区域的精细建模和跨尺度信息整合，提升模型在复杂组织结构下的预测能力。如下图所示，来自不同全切片病理图像 (WSIs) 层级的 3 个图像块序列被输入到模型中，以共同预测相应位点的基因表达。在接收到来自 3 个不同层次的病理图像块后，首先，M2OST 会将它们送入可变形图像块嵌入层 (DPE)，以实现自适应 token 生成。DPE 不仅能从每张图像中提取基础病理图像块，还能在高层次的病理图像中引入更大尺寸的图像块，从而捕捉更广泛的上下文信息。同时，DPE 通过生成细粒度的点内 token 和粗粒度的周围 token，以强化模型对采样点中心区域特征的关注，从而在多对一的建模过程中突出采样点间特征 (inter-spot features)，为后续的表达预测提供更精细、结构化的特征表示。 ::: hljs-center M2OST 模型示意图 ::: ::: hljs-center 在 M2OST 中使用的 DPE ::: 而后，在每个序列中添加 cls token，并如图中 PE 所示，引入可学习的位置编码，M2OST 使用内层 token 混合模块 (ITMM) 对每个序列进行层内特征提取。 ITMM 基于 Vision Transformer 架构构建，并引入随机掩码自注意力机制 (Rand Mask Self-Attn)，以增强模型在图像建模过程中的泛化能力。 ::: hljs-center ITMM 的网络结构 ::: 在层内特征提取完成后，M2OST 引入跨层 token 混合模块 (CTMM)，用于促进多层序列之间的跨层信息交互。由于多尺度输入序列的长度存在差异，CTMM 通过引入全连接跨层注意力机制以避免直接融合造成的信息失真，同时保持每个尺度分支参数的相对独立性。随后，为了增强通道级的跨尺度信息交换能力，M2OST 在 CTMM 之后引入了跨层通道混合模块 (CCMM)。 CCMM 采用对序列长度不敏感的结构设计，CTMM 根据不同层之间的注意力相似度和可学习权重，动态整合跨尺度的上下文信息，输出同形状的多层序列。首先对每个层次的序列进行全局平均池化 (Global Avg Pooling)，将其序列信息压缩为一个 token 表示，然后将不同层次的 token 组合在一起，并结合挤压激励机制 (Squeeze & Excitation) 计算跨层通道注意力分数。这些分数随后被映射回各自的输入序列，完成通道级的跨尺度信息交换。 ::: hljs-center (a) CTMM 的网络结构。(b) CCMM 的网络结构。 ::: 该多尺度特征建模过程整体构成 M2OST 的编码器模块，并在整个网络中迭代 N 次，以逐步丰富空间转录组预测所需的多层次、高表达力的图像表征。** 最后，将 3 个 cls token 连接起来，送入线性回归头部进行 ST 点预测。** 实验结果：多维度评估证明 M2OST 模型有效性研究团队全面比较了 M2OST 与多种主流方法在多个数据集上的表现。实验结果如下表所示，** M2OST 在更少的参数量和更少的 FLOPs 下，实现了更为优越的性能。** 与 ST-Net 相比，M2OST 的参数量减少了 0.40M，FLOPs 降低了 0.63G，而 M2OST 在 HER2+ 和 cSCC 数据集上的皮尔逊相关系数 (PCC) 分别提升了 1.16% 和 1.13%。 ::: hljs-center M2OST 与其他方法的比较实验结果 ::: M2OST 与一对一多尺度方法的比较：研究团队还将 M2OST 与普通的一对一多尺度方法进行了比较，如 CrossViT 和 HIPT/iStar。相较于标准 ViT，CrossViT 展现出更强的 ST 回归能力，证实了在该任务中整合多尺度信息具有显著优势。然而，CrossViT 在点内信息建模方面存在一定限制，其整体性能仍不及 M2OST。此外，iStar 在 ST 预测准确性上表现出色，证明了 HIPT 架构在从 WSI 中提取多尺度特征方面的有效性。然而，为了节约计算成本，iStar 采用固定的 HIPT 权重来生成用于 ST 预测的 WSI 特征，限制了其特征提取能力。同时，在推理效率方面，iStar 的逐块、逐尺度的提取流程显著增加了处理时间。研究结果表明，当在相同的 GPU 内存限制下运行，M2OST 的推理速度比 iStar 快约 100 倍，且性能仍优于后者，充分展示了端到端训练在 ST 回归任务中的潜力和 M2OST 模型的有效性。图像块级和玻片级 ST 方法的比较: 实验结果显示，玻片级方法在 3 个数据集上的表现普遍不及图像块级方法。尽管 Hist2ST 相较于 HisToGene 展现出更强性能，但其大量参数和高 FLOPs 使得这种性能的提升意义不大。与 ST-Net 等基线图像块级方法相比，Hist2ST 在 3 个数据集上的 PCC 分别降低 2.78%、2.99% 和 2.66%。这表明一个点的基因表达主要与其对应的组织区域相关，引入点间相关性并未显著提升预测准确性。尽管如此，玻片级方法在生成完整 ST 图谱方面仍具优有更高的效率，未来通过优化网络设计，仍有潜力实现具有竞争力的回归精度。可视化分析： ::: hljs-center (a) 主成分分析 (PCA) 之后的空间转录组 (ST) 图谱的可视化结果。 (b) DDX5 基因空间分布的可视化结果。 ::: 研究团队对不同方法在 ST 图谱预测中的可视化结果进行了分析对比，结果显示玻片级方法（如 HisToGene 和 Hist2ST）通常能够生成更平滑的图谱，而图像块级方法则保留了更清晰的局部结构特征。值得注意的是，M2OST 始终能够生成更准确的 ST 图谱，呈现出更高的预测精度。研究团队进一步对关键基因 DDX5 的表达进行了可视化，DDX5 通过激活 β - catenin 信号通路，在非小细胞癌细胞的增殖和肿瘤发生中起关键作用。结果表明 M2OST 在该基因的预测中表现最优，优于所有对比方法，验证了 M2OST 模型在单基因表达预测水平上的准确性。空间转录组学的突破性进展与跨领域应用空间转录组学作为连接细胞功能与组织结构的桥梁，能够解析单个细胞在时间和空间维度上的基因表达模式，并揭示细胞类群的空间位置及其生物学特征，正推动生物医学研究向更深层次发展。在这一领域，2025 年 4 月，日本东京大学医科学研究所的研究团队开发了基于图像辅助的图对比学习进行空间转录组学分析的深度学习框架 STAIG。该框架能够整合基因表达、空间数据和组织学图像，且不需要对齐数据，从而克服了传统方法在消除批次效应和识别空间区域上的局限性。STAIG 通过自监督学习，从苏木精和伊红 (H&E) 染色图像中提取特征，无需依赖大规模数据集进行预训练。在训练过程中，STAIG 动态调整图结构，并通过组织学图像选择性排除无关的负样本，减少了偏差。最终，STAIG 通过局部对比分析基因表达的共性，成功实现了批次整合，避免了手动坐标对齐的复杂性，显著减少了批次效应。研究表明，STAIG 在多个数据集上表现出色，特别是在空间区域识别方面，能够揭示肿瘤微环境中的详细基因和空间信息，展现出其解析空间生物学复杂性的重要潜力。点击查看详细报道：无需预对齐即可消除批次效应，东京大学团队开发深度学习框架STAIG，揭示肿瘤微环境中的详细基因信息与此同时，中国上海临港实验室魏武研究团队也在空间转录组学领域取得了显著进展。2024 年 11 月，团队在 Briefings in Bioinformatics 期刊上发表了题为「MCGAE: unraveling tumor invasion through integrated multimodal spatial transcriptomics」的研究论文。该研究开发了专为空间转录组数据分析设计的深度学习框架 MCGAE (Multi-View Contrastive Graph Autoencoder)，该框架通过结合基因表达、空间坐标和图像特征，创建多模态、多视图的生物表征，显著提升了空间域识别的准确性。在肿瘤数据中展现了对肿瘤区域的精确识别与分子调控特征的深度解析，为复杂组织、疾病机制研究和药物靶点发现提供了强有力的工具。论文原文：https://academic.oup.com/bib/article-pdf/26/1/bbae608/60786360/bbae608.pdf 此外，空间转录组学在农业领域的应用也展现出巨大潜力。2025 年 4 月，北京大学现代农业研究院的研究团队在 Genome Biology 上发表了一项题为「Spatiotemporal tranomics reveals key gene regulation for grain yield and quality in wheat」的重要研究，利用空间转录组技术构建了小麦籽粒发育早期不同时间段的高分辨率基因表达图谱，揭示了小麦籽粒发育过程中的基因表达特征。这一研究不仅为小麦的分子设计育种与产量提高提供了重要的理论支持，也为全球粮食安全提供了有力保障。论文原文：https://www.biorxiv.org/content/biorxiv/early/2024/06/03/2024.06.02.596756.full.pdf 未来，随着空间转录组数据的不断积累和数字病理图像获取手段的持续优化，人工智能与组学技术的深度融合将推动深度学习模型在多种组织类型和疾病背景中的广泛应用，助力精准医疗的发展。M2OST 的提出为构建高效、低成本、高精度的空间基因表达预测框架奠定了坚实基础，预示着人工智能与多组学数据融合分析在生物医学领域的深远前景。

2025年-4月-22日
11 阅读
0 评论

人工智能