datavec/归一化 -买球官网平台

`
bewithme
  • 浏览: 405606 次
  • 性别:
  • 来自: 上海
博主相关
  • 博客
  • 微博
  • 相册
  • 收藏
  • 社区版块
    • ( 0)
    • ( 127)
    • ( 49)
    存档分类
    最新评论

    datavec/归一化

      博客分类:
    • dl4j

    为什么要进行归一化?

     

    当它们被馈送的数据被归一化时,神经网络工作得最好,数据被限制在-1到1之间。这样做有几个原因。一个是使用梯度下降训练网络,并且它们的激活函数通常在-1和1之间的某个范围。即使使用不会很快饱和的激活函数,将你的值限制到这个范围以提高性能仍然是很好的实践。

     

    可用的预处理器


    multinormalizerstandardize

    multidataset的预处理器把特征值(和可选的标签值)归一化到均值为0,标准差为1。

     

    load
    public void load(@nonnull list<file> featurefiles, @nonnull list<file> labelfiles) throws ioexception 
    

     从文件系统加载均值和标准差。

    • 参数featurefiles是特征值的原文件,每个输入要求有两个文件,均值和标准差文件。
    • 参数labelfiles是标签源文件,每个输出要求2个文件,均值和标准差文件。
    save
    public void save(@nonnull list<file> featurefiles, @nonnull list<file> labelfiles) throws ioexception 
    
      • 参数featurefiles是特征值的原文件,每个输入要求有两个文件,均值和标准差文件。
      • 参数labelfiles是标签源文件,每个输出要求2个文件,均值和标准差文件。
      • 已弃用 使用 {- link multistandardizeserializerstrategy} 代替

    保存当前的均值和标准差到文件系统。

     

    imagemultipreprocessingscaler 图像多预处理缩放器

     

    一种预处理器,专门用于在多数据集中应用最小最大缩放到一个或多个特征阵列的图像。

    可以采用一个范围,因此可以将像素值从0->255缩放为minrange->maxrange默认minrange=0和maxrange=1;如果像素值不是8位,则可以指定位数作为构造函数中的第三个参数。

    对于已经浮点的值,指定位数为1。

     

     

    imagemultipreprocessingscaler
    public imagemultipreprocessingscaler(double a, double b, int maxbits, int[] featureindices) 
    

     预处理器可以取一个范围作为最小范围和最大范围

     

        • 参数 a, 默认 = 0
        • 参数 b, 默认 = 1
        • 参数maxbits是图片的最大位, 默认 = 8
        • 参数 featureindices 特征数组的索引。如果只存在一个特征数组,则应该总是为0。

    standardizestrategy 标准化策略

    全部的均值和标准差文。

     

    preprocess
    public void preprocess(indarray array, indarray maskarray, distributionstats stats) 
    

    归一化一个数据数组

        • 参数 array 用于归一化的数组
        • 参数 stats 数据总体的统计 
    revert
    public void revert(indarray array, indarray maskarray, distributionstats stats) 
    

    反归一化一个数据组

        • 参数 array 用于反归一化的数组
        • 参数 stats 数据总体的统计

    multinormalizerminmaxscaler 多归一化器最小最大值缩放器

    多数据集的预处理器,用来归一化特征值(并且也可以是标签值,值介于一个最小值和最大值之间(默认在0和1之间 )

     

    multinormalizerminmaxscaler 
    public multinormalizerminmaxscaler(double minrange, double maxrange) 

    预处理器可以取一个范围作为最小范围和最大范围

     

     

        •  参数 minrange 是目标范转下界
        • 参数 maxrange 是目标范转上界

    compositemultidatasetpreprocessor 组合多数据集预处理器

     

    一个简单的组合多数据集合预处理器-允许你在一个多数据集上应用多个多数据集合预处理器,它们按顺序被传递给构造器。

     

    compositemultidatasetpreprocessor
    public compositemultidatasetpreprocessor(multidatasetpreprocessor... preprocessors)
    
        • 参数 preprocessors 是需要应用的预处理器。它们将以这个顺序被应用。

    imageflatteningdatasetpreprocessor 图像平坦化数据集预处理

     

    用于平坦化一个4维的cnn 特征数组为一个平坦的2维格式的数据集预处理器(用于一个类似于稠密层/多层感知器)


    multinormalizerhybrid 多归一化器混合

    多数据集预处理器,可以配置为对不同的输入和输出使用不同的归一化策略,或者根本不使用。例如,当一个输入应该被归一化时,可以使用,但是另一个输入应该不被修改,因为它是嵌入层的输入。或者,人们可能想要混合归一化和最小最大缩放用于不同的输入和输出。

    默认情况下,不应用归一化。有一些方法可以针对全局或单个输入/输出级别的输入和输出配置期望的归一化策略。特定的输入/输出策略将取代全局的输入/输出策略。

     

    multinormalizerhybrid
    public multinormalizerhybrid standardizeallinputs() 
    

    对所有输入应用标准化,除了被单独配置的那些输入。

        • 返回归一化器 
    minmaxscaleallinputs
    public multinormalizerhybrid minmaxscaleallinputs() 
    

    对所有输入应用最小最大缩放,除了被单独配置的那些输入。

      • 返回归一化器 
    minmaxscaleallinputs
    public multinormalizerhybrid minmaxscaleallinputs(double rangefrom, double rangeto) 
    

     

    对所有输入应用最小最大缩放,除了被单独配置的那些输入。

        • 参数rangefrom是目标范围的下界
        • 参数rangeto是目标范围的上界
        • 返回归一化器 
    standardizeinput
    public multinormalizerhybrid standardizeinput(int input)  
    对指定输入应用标准化,重写全局输入策略(如果有的话)
        • 参数input是输入索引
        • 返回归一化器
    minmaxscaleinput
    public multinormalizerhybrid minmaxscaleinput(int input) 
    
    对指定输入应用最小最大缩放,重写全局输入策略(如果有的话)
        • 参数input是输入索引
        • 返回归一化器
    minmaxscaleinput
    public multinormalizerhybrid minmaxscaleinput(int input, double rangefrom, double rangeto) 
    
    对指定输入应用最小最大缩放,重写全局输入策略(如果有的话)
        • 参数input是输入索引
        • 参数rangefrom是目标范围的下界
        • 参数rangeto是目标范围的上界
        • 返回归一化器
    standardizealloutputs
    public multinormalizerhybrid standardizealloutputs() 
    

     对所有输出应用标准化,除了单独配置的输出。

        • 返回归一化器
    minmaxscalealloutputs
    public multinormalizerhybrid minmaxscalealloutputs()  
          对所有输出应用最小最大缩放,除了单独配置的输出。
        • 返回归一化器
    minmaxscalealloutputs
    public multinormalizerhybrid minmaxscalealloutputs(double rangefrom, double rangeto) 
    

    所有输出应用最小最大缩放,除了单独配置的输出。

        • 参数rangefrom是目标范围的下界
        • 参数rangeto是目标范围的上界
        • 返回归一化器
    standardizeoutput
    public multinormalizerhybrid standardizeoutput(int output) 
    
    对指定输出应用标准化,重写全局输入策略(如果有的话)
      • 参数输出是输出索引
      • 返回归一化器
    minmaxscaleoutput
    public multinormalizerhybrid minmaxscaleoutput(int output) 
    
    对指定输出应用最小最大缩放,重写全局输入策略(如果有的话)
      • 参数输出是输出索引
      • 返回归一化器
    minmaxscaleoutput
    public multinormalizerhybrid minmaxscaleoutput(int output, double rangefrom, double rangeto) 
    

    对指定输出应用最小最大缩放,重写全局输入策略(如果有的话)

        • 参数输出是输出索引
        • 参数rangefrom是目标范围的下界
        • 参数rangeto是目标范围的上界
        • 返回归一化器
    getinputstats
    public normalizerstats getinputstats(int input) 
    

    给定一个输入,获取归一化统计。

        • 参数input是输入索引
        • 返回一个相当于归一化策略的归一化统计
    getoutputstats
    public normalizerstats getoutputstats(int output)  
    给定一个输入,获取归一化统计。
        • 参数output是输出索引
        • 返回一个相当于归一化策略的归一化统计

     

    fit
    public void fit(@nonnull multidataset dataset) 
    

    获取每个输入的归一化统计映射

        • 返回指向归一化器统计实例的输入索引映射
    fit
    public void fit(@nonnull multidatasetiterator iterator) 
    

    在数据集上迭代用于归一化的统计信息

        • 参数iterator是用于收集统计信息的迭代器
    transform
    public void transform(@nonnull multidataset data) 
    

    转换一个数据集 

        • 参数 data是要预处理的数据集 the dataset to pre proces
    revert
    public void revert(@nonnull multidataset data) 
    

     取消这个数据归一化实例(数组在原处修改)所应用的归一化。

        • 参数data是需要取消归一化的多数据集。
    revertfeatures
    public void revertfeatures(@nonnull indarray[] features) 
    

    撤消(还原)此数据归一化实例应用到整个输入数组的归一化

        • 参数features是输入的归一化数组
    revertfeatures
    public void revertfeatures(@nonnull indarray[] features, indarray[] maskarrays)  
    撤消(还原)此数据归一化实例应用到整个输入数组的归一化
        • 参数features是输入的归一化数组
        • 参数 maskarrays是 属于输入的可选掩码数组
    revertfeatures
    public void revertfeatures(@nonnull indarray[] features, indarray[] maskarrays, int input) 
    

     撤消(还原)此数据归一化实例应用到一个特殊输入的特征的归一化

        • 参数features是输入的归一化数组
        • 参数 maskarrays是 属于输入的可选掩码数组
        • 参数input是要还原归一化的输入的索引
    revertlabels
    public void revertlabels(@nonnull indarray[] labels) 
    

    撤消(还原)此数据归一化实例应用到整个输出数组的归一化

        • 参数labels是输出的归一化数组 
    revertlabels
    public void revertlabels(@nonnull indarray[] labels, indarray[] maskarrays) 
    

    撤消(还原)此数据归一化实例应用到整个输出数组的归一化

        • 参数labels是输出的归一化数组
        • 参数 maskarrays是 属于输出的可选掩码数组
    revertlabels
    public void revertlabels(@nonnull indarray[] labels, indarray[] maskarrays, int output) 
    

    撤消(还原)此数据归一化实例应用到一个特殊输出的特征的归一化

        • 参数labels是输出的归一化数组
        • 参数maskarrays是 属于输出的可选掩码数组
        • 参数output是要还原归一化的输出的索引 

    normalizerminmaxscaler

     

    数据集的预处理器,用于归一化特征值(也可以是标签值),让其介于一个最小值与最大值之间(默认为0到1之间)

     

    normalizerminmaxscaler
    public normalizerminmaxscaler(double minrange, double maxrange) 
    

    预处理器,可以取一个范围作为最小范围和最大范围

        • 参数 minrange
        • 参数 maxrange
    load
    public void load(file... statistics) throws ioexception 
    

    加载给定的最大和最小值 

        • 需要加载的统计信息
        • 抛出 ioexception
    save
    public void save(file... files) throws ioexception 
    

    保存当前最小值和最大值

        • 参数files是要保存的统计信息
        • 抛出ioexception
        • 弃用,使用normalizerserializer代替

    compositedatasetpreprocessor 组合数据集预处理器

    一个简单的组合数据集预处理器-允许你在一个数据集上按顺序应用多个数据集预处理器,它们按顺序传递给构造器。

     

    compositedatasetpreprocessor
    public compositedatasetpreprocessor(datasetpreprocessor... preprocessors)
    
        • 参数  preprocessors 是要应用的预处理器。它们会以这个顺序应用。 

    normalizer

    所有归一化器的基础接口


    normalizerstrategy

    基于全体统计用于归一化和还原归一化的策略接口。


    imagepreprocessingscaler 图像预处理缩放器

    created by susaneraly on 6/23/16.

     

    一种预处理器,专门用于在多数据集中应用最小最大缩放到一个或多个特征阵列的图像。可以采用一个范围,因此可以将像素值从0->255缩放为minrange->maxrange默认minrange=0和maxrange=1;如果像素值不是8位,则可以指定位数作为构造函数中的第三个参数。对于已经浮点的值,指定位数为1。

     

    imagepreprocessingscaler
    public imagepreprocessingscaler(double a, double b, int maxbits) 
    

    预处理器可以取一个范围作为最小范围和最大范围

        • 参数 a, 默认 = 0
        • 参数 b, 默认 = 1
        • 参数maxbits是图片的最大位, 默认 = 8
    fit
    public void fit(dataset dataset) 
    

    拟合数据集(只计算基于此数据集的统计数据)

        • 参数dataset参与计算的数据集
    fit
    public void fit(datasetiterator iterator) 
    

    在数据集上迭代用于归一化的统计信息

        • 参数iterator是用于收集统计信息的迭代器
    transform
    public void transform(dataset topreprocess) 
    

    转换数据 

        • 参数topreprocess要转换的数据集

    vgg16imagepreprocessor

     

    这是一个专门用于vg16的预处理器。它从每个像素中减去在训练集上计算的平均rgb值,如报告的那样。https://arxiv.org/pdf/1409.1556.pdf

     

    fit
    public void fit(dataset dataset) 
    

    拟合数据集(只计算基于此数据集的统计数据)

      • 参数dataset参与计算的数据集
    fit
    public void fit(datasetiterator iterator) 
    

    在数据集上迭代用于归一化的统计信息

        • 参数iterator是用于收集统计信息的迭代器
    transform
    public void transform(dataset topreprocess) 
    

    转换数据 

     

        • 参数topreprocess要转换的数据集

    normalizerstandardize

    created by susaneraly, ede meijer 。数据集的方差和均值预处理器,将特征值(和可选的标签值)标准化为0均值和标准偏差1

     

     

    load
    public void load(file... files) throws ioexception 
    

    从文件系统中加载均值和标准差

        • 参数files是需要加载的文件,如果标准化标签需要4个文件,否则为2.
    save
    public void save(file... files) throws ioexception 
    
        • 参数files是需要保存的文件,如果标准化标签需要4个文件,否则为2.
        • 弃用,使用normalizerserializer代替

    将当前方法和标准偏差保存到文件系统 


    multidatanormalization

    一个用于多数据集归一化器的接口。数据归一化器,在一个多数据集上计算某些统计信息并按某种方式缩放数据。


    minmaxstrategy

    总体数据的上界和下界统计

     

    minmaxstrategy
    public minmaxstrategy(double minrange, double maxrange) 
    
        • 参数minrange是目标范围的下界
        • 参数maxrange是目标范围的上界
    preprocess
    public void preprocess(indarray array, indarray maskarray, minmaxstats stats) 
    

    归一化一个数据数组

        • 参数array是需要归一化的数据
        • 参数stats是总体数据的统计信息  
    revert
    public void revert(indarray array, indarray maskarray, minmaxstats stats) 
    

    对一个数据数组还原归一化

        • 参数array是需要还原归一化的数据
        • 参数stats是总体数据的统计信息

    datanormalization

    一个用于多数据集归一化器的接口。数据归一化器,在一个多数据集上计算某些统计信息并按某种方式缩放数据。

     

     

    有任何问题请联系微信 

    如果您觉得我的文章给了您帮助,请为我买一杯饮料吧!以下是我的支付宝,意思一下我将非常感激!

         

    分享到:
    评论

    相关推荐

      实现区间缩小,通过labview实现数字归一化

      自己编写的matlab归一化处理程序。 网上有很多相关程序,但是要么非常复杂,要么就是功能不符合自己的要求,所以就自己编写了一个。 资源是matlab的.m文件,可以实现对多维数组的每一列进行单独的归一化处理,归一化...

      数据归一化方法和原理总结 matlab 中的归一化处理有三种方法 1. premnmx、postmnmx、tramnmx 2. restd、poststd、trastd 3. 自己编程 (1)线性函数转换,表达式如下: y=(x-minvalue)/(maxvalue-minvalue) 说明...

      常用的图像归一化算法,将不同大小的图像 归一化成固定大小的图像,对于做图像模板有很好的用处,经过测试可用。。。。。。。。。。。。。。。。

      资源名:matlab对表面肌电信号进行归一化处理,并对归一化后的图形显示 资源类型:matlab项目全套源码 源码说明: 全部项目源码都是经过测试校正后百分百成功运行的,如果您下载后不能运行可联系我进行指导或者更换...

      改进的影像归一化扩展工具,提供交互式界面,数据分块处理,归一化公式为result=(dn-min)/(max-min)。envi自带的归一化工具(stretch data)不能忽略背景值,当以取置信区间进行归一化时会得到错误的结果,而极值的...

      资源中包括归一化程序及对应的反归一化程序,test程序是对上述两种程序的测试样例。 资源为个人编写,尊重知识产权

      为了识别可变光照下的人脸图像,提出了一种基于小波的光照归一化算法,将一幅图像分解为低频成分和高频成分,对不同的频带成分进行不同的操作——对低频成分进行直方图均衡化,同时着重强调细节(高频成分),将它乘以...

      图像平移尺度归一化 图像平移尺度归一化 图像平移尺度归一化图像平移尺度归一化 图像平移尺度归一化 图像平移尺度归一化 图像平移尺度归一化 图像平移尺度归一化

      小公式对多维数据作归一化处理。很简便的归一化代码,一秒就看懂!

      本程序是matlab程序,实现了去数据的批量处理,对数据进行归一化,求欧式距离。压缩包里有数据有程序,并且程序有很详细的注释,是本人自己编写的,希望可以帮到有需要的人!

      图像归一化,就是(数值-min)/(max-min),把结果都划归到0-1范围,便于不同变量之间的比较,取消了不同数量差别。我们利用python的arcpy包对栅格数据批量归一化,而且再保证属性中没有最大值和最小值信息的情况下也能...

      cuda 环境下的归一化程序。得到验证并加速~~

      归一化均方差 matlab 图像对比 图像相似

      本代码使用opencv2,实现了对样本图片的大小 颜色 等的归一化处理,使用方便,直接选择文件夹就可以。

      veriog实现数字agc,数字归一化。输入16位iq数据(可变),输出功率和归一化iq数据。

      特征归一化matlab程序,可行归一和列归一

      对图像进行归一化,用于图像处理1.18%,而此时特征向量只选取前 15 维。融合特征中采用 pca特征是由于它是均方误差最小意义下对原图像的最佳逼

      地理信息系统高级算法课程作业,良心之作。归一化割和图像分割(normalized cuts and image segmentation)论文总结报告。

      matlab归一化相关函数\归一化相关算法。

    global site tag (gtag.js) - google analytics