sp.spatial_high_variable_genes() 提升运算速度

[ZhangZao-HB]

我在运行到sp.spatial_high_variable_genes()这一步进行高变基因计算时，显示需要接近100小时的运算时长，是否有办法提升运算速度，例如增加线程数或者将运行的矩阵转换为稀疏矩阵之类的。

[PSSUN]

您好，感谢您的建议。

关于这个问题，我们在文档中有相关的描述，我推测您使用的数据集分辨率较高，您可以在加载数据的时候将bin_size参数调高，如：
sp.read_h5ad(file=file_path, bin_size=50)，这并不会降低STMiner的准确度，因为一般情况下分辨率并不影响基因的空间分布。

我们的确有多进程的版本，但是担心在个人电脑上会导致内存溢出的问题，所以目前没有在文档和教程中说明，等优化稳定后我们会更新多进程的版本。

如果您仍然有问题，欢迎随时交流。

[7omishere]

您好，感谢您的建议。

关于这个问题，我们在文档中有相关的描述，我推测您使用的数据集分辨率较高，您可以在加载数据的时候将bin_size参数调高，如： sp.read_h5ad(file=file_path, bin_size=50)，这并不会降低STMiner的准确度，因为一般情况下分辨率并不影响基因的空间分布。

我们的确有多进程的版本，但是担心在个人电脑上会导致内存溢出的问题，所以目前没有在文档和教程中说明，等优化稳定后我们会更新多进程的版本。

如果您仍然有问题，欢迎随时交流。

您好，我想问一下一般而言对于9565*18085大小的ST数据，在集群上运行sp.spatial_high_variable_genes(thread=12)需要多久正常？因为我在运行时感觉有些慢。

另外，ST数据如果没有adata.uns，是否会有影响？我的数据只有adata.obsm['spatial']，是通过把adata.obs中的‘x’和‘y’合并得到的。我确认过x和y是smaller的index coordinates
具体情况如下：
sp.adata

AnnData object with n_obs × n_vars = 9565 × 18085
obs: 'in_tissue', 'x', 'y', 'row', 'col'
var: 'gene_ids', 'feature_types', 'genome'
obsm: 'spatial', 'spatial_raw'

[PSSUN]

您好，感谢您的建议。
关于这个问题，我们在文档中有相关的描述，我推测您使用的数据集分辨率较高，您可以在加载数据的时候将bin_size参数调高，如： sp.read_h5ad(file=file_path, bin_size=50)，这并不会降低STMiner的准确度，因为一般情况下分辨率并不影响基因的空间分布。
我们的确有多进程的版本，但是担心在个人电脑上会导致内存溢出的问题，所以目前没有在文档和教程中说明，等优化稳定后我们会更新多进程的版本。
如果您仍然有问题，欢迎随时交流。

您好，我想问一下一般而言对于9565*18085大小的ST数据，在集群上运行sp.spatial_high_variable_genes(thread=12)需要多久正常？因为我在运行时感觉有些慢。

另外，ST数据如果没有adata.uns，是否会有影响？我的数据只有adata.obsm['spatial']，是通过把adata.obs中的‘x’和‘y’合并得到的。我确认过x和y是smaller的index coordinates 具体情况如下： sp.adata

AnnData object with n_obs × n_vars = 9565 × 18085
obs: 'in_tissue', 'x', 'y', 'row', 'col'
var: 'gene_ids', 'feature_types', 'genome'
obsm: 'spatial', 'spatial_raw'

您好，是从adata.obsm['spatial']里取的，而不是adata.uns，我之前说错了，抱歉。
对于大小为n_obs × n_vars = 9565 × 18085的数据，如果您在加载数据时选择bin_size=50的话，几个小时内应该就有结果。
STMiner很难在面对较大的数据集时做到输入代码后即时得到结果，因为在二维上做最优传输比较消耗计算资源。

目前的方法是最准确的，但是计算代价较大。我会在下周内更新一个更加快速寻找SVG的版本。

[ZhangZao-HB]

您好，我在命令行运行pip install STMiner==0.0.9安装了STMiner，我在命令行查看STMiner版本显示 python3.9 -m pip list | grep STMinerSTMiner 0.0.9 ``；但是我在python3.9中import STMiner后执行`STMiner.version`显示的版本为'0.0.7'。我在执行到sp.spatial_high_variable_genes(thread=6)这一步时使用了多线程，但是界面上不显示进度条，同时后台也没有显示占用了6个线程。 以下是我执行的代码： `file_path = '../sample.cellbin_1.0.adjusted.h5ad' sp = SPFinder() sp.read_h5ad(file=file_path, bin_size=50) sp.get_genes_csr_array(min_cells=200, log1p=False, min_genes=1) sp.spatial_high_variable_genes(thread=6) `

这个是升级好了STMiner.__version__显示的版本为0.0.7是因为我没有改__version__里面的参数，我在本地运行多进程是可以的，这个版本如果thread大于1就是不显示进度条的，因为那个不准。如果是在集群上，可以将thread调大一点，比如12等。您运行后可以稍等一会再看是否调用的多进程，应该是没问题的。

您好，我读取h5ad时设置bin_size=50，并尝试了多线程thread=10操作。在运行了一段时间后，系统还是显示无法分配内存。
我的数据大小为 n_obs × n_vars = 247970 × 22859，表达谱矩阵应该算比较大，如果我从数据随机抽取例如20%的细胞，得到的SVG的结果会有较大差异吗？

[PSSUN]

您好，我在命令行运行pip install STMiner==0.0.9安装了STMiner，我在命令行查看STMiner版本显示 python3.9 -m pip list | grep STMinerSTMiner 0.0.9 ``；但是我在python3.9中import STMiner后执行`STMiner.version`显示的版本为'0.0.7'。我在执行到sp.spatial_high_variable_genes(thread=6)这一步时使用了多线程，但是界面上不显示进度条，同时后台也没有显示占用了6个线程。 以下是我执行的代码： `file_path = '../sample.cellbin_1.0.adjusted.h5ad' sp = SPFinder() sp.read_h5ad(file=file_path, bin_size=50) sp.get_genes_csr_array(min_cells=200, log1p=False, min_genes=1) sp.spatial_high_variable_genes(thread=6) `

这个是升级好了STMiner.__version__显示的版本为0.0.7是因为我没有改__version__里面的参数，我在本地运行多进程是可以的，这个版本如果thread大于1就是不显示进度条的，因为那个不准。如果是在集群上，可以将thread调大一点，比如12等。您运行后可以稍等一会再看是否调用的多进程，应该是没问题的。

您好，我读取h5ad时设置bin_size=50，并尝试了多线程thread=10操作。在运行了一段时间后，系统还是显示无法分配内存。 我的数据大小为 n_obs × n_vars = 247970 × 22859，表达谱矩阵应该算比较大，如果我从数据随机抽取例如20%的细胞，得到的SVG的结果会有较大差异吗？

我设计的时候没有预想到有这么大的空间转录组数据，但是没关系，我加了合并采样点的function，请更新STMiner：
pip install STMiner==1.0.9
然后读取数据时使用merge_bin=True参数：

sp.read_h5ad(file=h5ad_file_path, bin_size=50, merge_bin=True)

这样就很快了，之前bin_size只是将采样点的坐标简化了，但是保留每一个采样点，merge_bin=True会将merge的所有采样点都合并成一个采样点，这样会降低分辨率，但是基本不影响STMiner的功能。

[PSSUN]

您好，感谢您的建议。
关于这个问题，我们在文档中有相关的描述，我推测您使用的数据集分辨率较高，您可以在加载数据的时候将bin_size参数调高，如： sp.read_h5ad(file=file_path, bin_size=50)，这并不会降低STMiner的准确度，因为一般情况下分辨率并不影响基因的空间分布。
我们的确有多进程的版本，但是担心在个人电脑上会导致内存溢出的问题，所以目前没有在文档和教程中说明，等优化稳定后我们会更新多进程的版本。
如果您仍然有问题，欢迎随时交流。

您好，我想问一下一般而言对于9565*18085大小的ST数据，在集群上运行sp.spatial_high_variable_genes(thread=12)需要多久正常？因为我在运行时感觉有些慢。

另外，ST数据如果没有adata.uns，是否会有影响？我的数据只有adata.obsm['spatial']，是通过把adata.obs中的‘x’和‘y’合并得到的。我确认过x和y是smaller的index coordinates 具体情况如下： sp.adata

AnnData object with n_obs × n_vars = 9565 × 18085
obs: 'in_tissue', 'x', 'y', 'row', 'col'
var: 'gene_ids', 'feature_types', 'genome'
obsm: 'spatial', 'spatial_raw'

请更新STMiner：
pip install STMiner==1.0.9
然后读取数据时使用merge_bin=True参数：

sp.read_h5ad(file=h5ad_file_path, bin_size=50, merge_bin=True)

这样就很快了，之前bin_size只是将采样点的坐标简化了，但是保留每一个采样点，merge_bin=True会将merge的所有采样点都合并成一个采样点，这样会降低分辨率，但是基本不影响STMiner的功能。