NewMer-分析

VIP画图&分析&流程-

VIP分析&流程-

反馈咨询

欢迎添加微信！

微信号: ngplot

微信二维码：

分类全部统计表格处理机器学习

热搜：预测 blast 检验

RDA分析

RDA使用的是R语言的vegan包进行分析

小提琴-箱线图-散点组合图

根据原始数据做核密度估计，并画图展示数据的分布情况

相关性分析(2大块列之间)

矩阵数据分两大组，计算这两大组数据之间的相关性

PCA分析(分组)

输入数据矩阵，分组文件

聚类-层级聚类(按行聚类)

根据指定的相似度或距离定义计算出类之间的距离大致过程：1.将每一个元素单独定为一类2.重复：每一轮都合并指定距离(对指定距离的理解很重要)最小的类3.直到所有的元素都归为同一类层级聚类，使用Python的scipy.cluster包详细文档：https://docs.scipy.org/doc/scipy/reference/cluster.hierarchy.html

聚类-层级聚类(按列聚类)

根据指定的相似度或距离定义计算出类之间的距离大致过程：1.将每一个元素单独定为一类2.重复：每一轮都合并指定距离(对指定距离的理解很重要)最小的类3.直到所有的元素都归为同一类层级聚类，使用Python的scipy.cluster包详细文档：https://docs.scipy.org/doc/scipy/reference/cluster.hierarchy.html

相关性分析

相关性分析使用的是python的scipy.stats模块

置信椭圆

基于样本均值和协方差矩阵构建，其形状和大小反映了数据的分布特征。工具计算得到置信水平下的置信椭圆4个端点位置

线性回归置信区间(分组)

对每组数据，分别做线性回归分析，且计算置信区间

线性回归置信区间(无分组)

lmConfidenceNoname

对两列值，做线性回归分析，且计算置信区间

表格合并(按一个或多个相同的列合并)

merge tableByCol

基于一个或多个同名列索引，将两个表格的列按行对齐横向拼接。

编码分类变量

将非数值型数据（如字符串、类别）转换为数值型数据

生成透视表

按照不同的维度和指标对数据进行重组

表格列值映射

根据某一列的数值，将其映射/转换到预定义的区间的新值

删除缺失行（指定列）

在指定的变量中，删除缺失值比例大于阈值的行

表格值范围筛选

可以根据1列或多列数值范围筛选表格。筛选条件的表达式例如 a1>10,b2<100，则筛选的是a1列大于10且b2列小数100的行

新增列(对列做数学运算)

将表格1列或多列的值做数学运算，计算的结果作为新的一列

student-T检验

使用R语言的t.test函数做student T 检验，比较两组数据是否有显著性差异

计算相对标准偏差(RSD)

按行计算计算相对标准偏差，并写入表格。新增列RSD （%））

cox比例风险

用于生存分析的回归模型，适用于分析事件发生时间与协变量之间的关系。事件列的值是 0 或 1，时间列的值是非负数

频数统计（按区间）

统计某一列值的区间分布。包括KDE计算

PCA分析

包括判断主成分个数、提取主成分、主成分旋转、获取主成分得分，碎石图和主成分得分图

设置缺失值

读取表格文件将数值超过某个范围的值设置为缺少值,并记录行和列的编号

缺失值检查

检查数据表缺失值，输出缺失值的位置信息

合并相同表头的表格文件

根据表格列表文件合并表格，保留一个表头

缺失值统计和填充

填充方法有去除行、均值、中位数、众数填充，前向填充、后向填充

频数统计（单列）

frequency table oneVar

数据表指定列，统计频数

计算描述性统计量（分组计算）

分组对数据表的指定列的数据计算平均数、中位数、标准差、分位数、和、最小值、或最大值等

t-SNE

通过概率分布建模高维和低维空间中的样本相似性，最小化两者之间的KL散度。

FP-growth算法发现频繁项集

种用于发现频繁项集的高效算法，它基于Apriori算法构建，但在处理大数据集时性能更优。

Apriori算法关联分析

经典的关联规则学习算法，主要用于从大量事务型数据中发现频繁项集和关联规则。该算法广泛应用于市场篮子分析、推荐系统等场景

树回归模型训练

tree regression train

树回归结合了树和回归两者的特性，可以简单理解为分段函数。它利用树把数据分类，然后对于分类后的数据回归拟合

树回归预测

tree regression predict

使用训练好的树回归模型做预测或分类

AdaBoost元算法模型预测

adaboost predict

使用训练好的AdaBoost元算法模型做预测或分类

AdaBoost元算法模型训练

Boosting策略的集成学习方法。将多个弱分类器（通常是单层决策树）进行合理的结合，使其成为一个强分类器

支持向量机训练

监督学习模型，主要用于分类和回归分析。SVM的基本思想是找到一个最优的分离超平面，使得不同类别的数据点被尽可能准确地分隔开，同时保证分类间隔最大化。

支持向量机预测

使用训练好的支持向量机做预测或分类

朴素贝叶斯分类模型预测

naive bayes predict

使用训练好的朴素贝叶斯分类模型做预测或分类

朴素贝叶斯分类模型训练

naive bayes train

基于概率论的分类方法

决策树模型预测

decision tree predict

使用训练好的决策树模型做预测或分类

决策树的模型训练

decision tree train

采用树状结构来进行决策或分类。这种模型可以视为一系列的问题和答案，或者是一系列的决策规则

k-近邻算法模型预测

使用训练好的KNN模型做预测或分类

k-近邻算法的模型训练

简称KNN，属于监督学习，通过计算待分类样本与训练集中各个样本的距离，找到距离最近的K个样本，然后根据这K个样本的类别或值来预测待分类样本的类别或值

对应分析(CA)

用于分析分类变量之间关系的统计方法，常用于探索列联表中的关联结构

多维刻度分析

多维刻度分析（Multidimensional Scaling, MDS）是一种用于将高维数据降维到低维空间（通常是 2D 或 3D）的可视化技术

信度分析Cronbach's Alpha

信度分析用于评估测量工具（如问卷或量表）的可靠性，常用的指标是 Cronbach's Alpha，内部一致性信度

Log-Rank检验

用于比较两个或多个组别生存曲线是否存在统计学差异的假设检验方法

游程检验

检验数据序列是否随机的方法

时间序列简单指数平滑法

通过对历史数据进行加权平均，赋予近期数据更高的权重，从而捕捉时间序列的趋势和季节性特征

时间序列分解

tsa seasonal decompose

将时间序列分解为趋势、季节性、残差

时间序列移动平均法

通过移动平均法，看长期趋势

时间序列平均发展水平、增减量、发展速度

time series summary

根据数据序列数据表，计算平均发展水平、增减量、发展速度

时间序列SARIM模型拟合和预测

自动搜索自回归阶数、差分阶数、移动平均阶数

时间序列ARIM模型拟合和预测

适用于平稳时间序列。自动搜索自回归阶数、差分阶数、移动平均阶数

时间序列KPSS检验

时间序列分析中用于判断数据是否平稳的重要工具，检验序列是趋势平稳或水平平稳，作为ADF检验的补充

时间序列ADF检验

用于判断时间序列数据是否平稳的统计检验方法。平稳性是许多时间序列模型的基本要求

时间序列偏自相关(PACF)图

在控制中间滞后项影响后，观察当前值与特定滞后值之间的直接相关性

时间序列自相关(ACF)图

通过量化'过去'对'现在'的相关程度，来帮助我们理解时间序列内部的结构、模式

时间序列图

time series plot

时间列格式为年-月-日

探索因子分析

包括判断公共因子数、提取公共因子、因子旋转、获取因子得分、碎石图和因子载荷图

岭回归

regression ridge

处理多重共线性问题的线性回归方法，通过引入L2正则化来减少模型的过拟合

泊松回归

regression poisson

计数数据的回归方法，适用于因变量为非负整数的场景

Logistic回归

regression logistic

因变量为类别型。兼容二分类和多分类

自助法-统计均值/中位数

对原始数据进行有放回的随机抽样,用于估计统计量的置信区间或标准误差

自助法-计算回归的R方

对原始数据进行有放回的随机抽样,用于估计统计量的置信区间或标准误差

置换检验-多项式回归

多项式回归的置换检验。使用的是R的lmPerm包

置换检验-简单线性回归

简单线性回归的置换检验。使用的是R的lmPerm包

置换检验-两样本或K样本

coin oneway test

采用蒙特卡洛重抽样

功效分析-检测效应量

power analysis effectSize

包括t_test, paired_t_test, anova

功效分析-检测功效

power analysis power

包括t_test, paired_t_test, anova, linear_regression, proportion, correlation, chi_square, f_test

功效分析-检测样本量

power analysis nobs

包括t_test, paired_t_test, anova, linear_regression, proportion, correlation, chi_square, f_test

检验多元正态性

multivariate normality

使用Henze-Zirkler's Test。 p-value < 0.05，通常认为数据不满足多元正态性

多元方差分析

因变量不止一个,自变量通常是一个分组变量

重复测量方差分析

受试者测量不止一次

双因素方差分析

分析两个分类自变量（因素）对一个连续因变量的影响，同时还可以检验两个因素之间是否存在交互作用

单因素协方差分析

包含一个或多个定量的协变量

单因素协方差分析检查交互项的显著性

ancova interaction

自变量和单个协变量之间的交互效应

方差齐性检验

Levene 检验：适用于非正态分布数据，Bartlett 检验：适用于正态分布数据。p-value 小于 0.05，则拒绝原假设，认为各组方差不齐

单因素方差分析的多重比较

multiple comparisons

使用Tukey's HSD方法

标准化回归系数

regression scale coefficients

计算各个自变量的标准化回归系数。用来比较不同自变量对因变量的相对作用大小。

线性回归模型的交叉验证

regression cross validation

对指定的自变量，因变量做线性回归拟合，并交叉验证

向后逐步回归

regression backward

使用RFE来逐步减少特征

向前逐步回归

regression forward

依次增加候选自变量。统计每次循环模型AIC的值

全子集回归

regression full subset

比较所有候选自变量的组合模型。通过AIC选择最佳模型

回归模型AIC、BIC比较

regression compare

对不同自变量的2个模型进行比较

Box-Tidwell 变换

用于线性回归模型中自变量的线性化。如果数据包含零或负数，需要先进行数据清洗（例如加上一个常数）

Yeo-Johnson 正态变换

normal Yeo Johnson

指定列的数据可以包括非正数。自动计算最优值。用Shapiro-Wilk 检验检测变换后数据的正态性

Box-Cox 正态变换

指定列的数据必须为正数。自动计算最优值。用Shapiro-Wilk 检验检测变换后数据的正态性

Q-Q图

用于检查数据是否符合正态分布，如果数据点大致落在一条直线上，则说明数据符合正态分布

检测回归模型强影响点

calculate influential points

方法通过计算Cook距离。结果包括图形

线性回归模型检测离群点

detect outliers lineModel

检测数据表的离群点,使用模型的预测残差来检测离群点

Z-score方法检测离群点

detect outliers zscole

检测数据表某一列的离群点

方差膨胀因子

用于多重共线性检测

偏残差图

partial residuals

可视化线性回归模型中每个自变量与因变量之间关系的图形。它可以帮助我们检查线性假设是否成立，以及是否存在非线性关系

误差独立性检验

test error independence

对包含“误差项”或“残差”的制表符分隔文件，做误差独立性检验

正态分布检验

对数据表数值列，做正态分布检验

回归诊断

regression diagnosis

对数据表指定列，做回归分析和诊断

多元线性回归

regression multiple

数据表计算多元线性回归（多个因变量）

多项式回归

regression polynomial

数据表计算两列的多项式回归

多分格相关系数

polychoric corr

数据表计算两个有序分类变量之间的系数

偏相关

数据表计算偏相关系数

频数统计

frequency table

数据表指定列或所有列，统计频数

频数统计（分组）

frequency table group

数据表指定列或所有列，分组统计频数

描述性统计（分组）

stats desc group

数据表指定列或所有列，分组做描述性统计计算（包括总数、均值，标准差，分位数，极值等）

描述性统计

数据表指定列或所有列做描述性统计计算（包括总数、均值，标准差，分位数，极值等）

zScole标准化

数据表指定列或所有列做z-Scole标准化

MinMax标准化

数据表指定列或所有列做minMax 标准化

随机抽样

按样本数或比例随机抽取数据表

角度和弧度转换

对数据表指定的列，计算角度或弧度值

三角函数

对数据表指定的列，计算三角函数值

计算描述性统计量

对数据表的指定列的数据计算平均数、中位数、标准差、分位数、和、最小值、或最大值等

保留小数位数

将数据表的指定列的数据保留小数位数

数计算次方数

将数据表的指定列的数据取指数，包括开方

数取log值

将数据表的指定列的数据取log值

数取绝对值

将数据表的指定列的数据转绝对值

日期转时间戳

自动识别日期格式的列，并将它转为时间戳（数值列）

多组差异(各等长列之间比较)

groups cols diff

对矩阵的多个列之间做差异分析

各组各变量均值标准差

分组计算各个变量的均值，标准差

箱线图

计算各组的最小最大值，上下四分位值，中位数，并画图

小提琴图

根据原始数据做核密度估计，并画图展示数据的分布情况

韦恩图(2-3组)

计算2-3组的数据共有，特有的元素个数，并画图

表格行排序(按指定顺序)

table sortByList

从文件2中获得行名顺序列表，对文件1中的行按照行名列表进行重新排列

提取或删除列

根据列的编号或者列名，删除或者提取指定的列，得到新的子表格

表格对列排序

根据按某一行的数据大小，对列排序（也就是调整列名的顺序）。

表格排序

按1列或多列同时对表格排序。可以分别指定各列的排序方式（升/降）

筛选表格(按其他文件某列)

table extractByList

根据表格1中的指定列值，筛选出表格2中对应的行。

加表头

对没有表头的表格，加上表头。

新增列(固定值)

为表格新增一列，该列所有的值均为指定的值

矩阵转3列表

将矩阵转成长表格形式。原表格是名称列+变量1+变量2+变量3...形式。转为名称列+变量名+变量值的形式

去多余空格且制表符分割

format strip tab

去除表格中各个值前后的多余空格。并将表格保存为制表符分割的表格

行切块堆叠(不包含固定列)

die colsFixedCols

将每行数据（不含固定列）按固定列数分块，并将各数据块与对应的固定列值纵向堆叠成多行。

行切块堆叠

将每行数据按固定列数切块，并将这些数据块纵向堆叠成多行。

新增列(去除首尾特殊字符)

将指定列的文本去除指定的字符，去除后的字符作为新列。

新增列(分割某列获取指定部分)

将指定列的文本按分隔符分割，并提取指定部分作为新列。

新增列(替换某列字符)

colValue replace

将某列的某个字符串替换成新的字符串。替换后的结果作为新的一列

新增列(正则匹配某列字符)

正则匹配某列的字符串，匹配到的内容作为新的一列

统计某值次数

统计某值在某列或某几列中出现的次数

表格转单列值

将宽表格转成长表格。原表格是类别列+变量1+变量2形式。转为类别列+变量名+变量值的形式

差异显著字母标记法

根据p值，为每个组分配特定的字母，来清晰指示哪些组之间存在统计学上的显著差异

表格转置

将表格的行和列进行互换

zscore计算

Z score标准化是数据处理的一种常用方法。通过它能够将不同量级的数据转化为统一量度的Z score分值进行比较。

筛选表（通过匹配列中字符串）

filter str table

保留或去除某一列包含某字符串的行

欧式距离计算

使用的是python的scipy模块计算欧式距离

去缺失值行

删除表格缺失值达到一定比例的行

缺失值填充

对文本格式的表格进行缺失值填充

对数处理

对表格指定的列做对数计算

归一化

对表格进行归一化处理

聚类-kmean聚类

kmeans聚类大致过程 1.假定对N个样本观测做聚类，要求聚为K类，首先选择K个点作为初始中心点； 2.按照距离初始中心点最小的原则，把所有观测分到各中心点所在的类中； 3.每类中有若干个观测，计算K个类中所有样本点的均值，作为第二次迭代的K个中心点； 4.然后根据这个中心重复第2、3步，直到收敛（中心点不再改变或达到指定的迭代次数），聚类过程结束采用的程序是python的sklearn.cluster.KMeans 详见： http://scikit-learn.org/stable/modules/generated/sklearn.cluster.KMeans.html

adonis分析

adonis是一种基于距离的多元统计分析方法，是置换多元方差分析的简称。通过投影到新空间，计算距离，从而确定样本之间的相似性或冗余度使用的程序是R语言的vegan包

vpa方差分解分析

VPA：方差分解分析(Variance Partitioning Analysis)可用于确定指定环境因子对微生物(原生生物/植物/动物等等)群落结构变化的解释比例。平台使用的是R语言的vegan包

anova检验

比较多组差异的单因素方差分析，采用R语言的oneway.test函数分析

Wallis秩和检验

Wallis 秩和检验是一种用于检验多个独立样本的分布是否相同的非参数统计方法。使用的R语言的kruskal.test函数该方法通过比较样本均值之间的差异来确定它们的相对顺序，从而避免了使用显著性检验或t-test等参数方法所带来的偏差。

fisher检验

两样本之间的差异检验。使用的程序是R语言的fisher.test函数

chi-sq检验

两样本之间的差异检验。使用的程序是R语言的chisq.test函数

welch-T检验

两组差异的welch T 检验，采用R语言的wilcox.test程序分析

vif分析

方差膨胀因子（VIF），是表征自变量观察值之间复共线性程度的数值。 VIF越大，说明自变量之间存在共线性的可能性越大。一般来讲，如果方差膨胀因子超过10，则回归模型存在严重的多重共线性。平台使用的是R语言的vegan包

NewMer生信公众号

公众号

NGplot分析画图群

微信群

客服微信号：ngplot

NGplot绘图QQ群：1021452366 小红书群：搜newmer，进主页可见群聊微信群(分析+画图)：加客服微信，回复"1"

关注我们获取最新动态和更多干货内容

微信公众号：NewMer生信小红书号：NewMer B站：Newmer生信抖音：NewMer生信知乎：NewMer生信

通明学练数据挖掘 NGplot绘图 NewMer生信首页

Copyright © 2021-2025 上海牛马人生物科技有限公司沪ICP备 2022007390号-2