datavec/执行器 -买球官网平台

`
bewithme
  • 浏览: 405608 次
  • 性别:
  • 来自: 上海
博主相关
  • 博客
  • 微博
  • 相册
  • 收藏
  • 社区版块
    • ( 0)
    • ( 127)
    • ( 49)
    存档分类
    最新评论

    datavec/执行器

      博客分类:
    • dl4j

    本地还是远程执行?

    因为数据集通常是比较大的,所以你可以决定最适合你需要的执行机制。例如,如果你正在对大型训练数据集进行向量化,则可以在分布式spark集群中处理它。但是,如果需要进行实时推理,数据向量还提供不需要任何附加设置的本地执行器。

    执行一个转换过程

     

    一旦你已经用概要创建了你的转换过程,并且你已经加载你的数据到了一个  apache spark javardd或有一个记录读取器来加载你的数据集,你就可以执行一个转换了  。

    本地执行如下: 

    import org.datavec.local.transforms.localtransformexecutor;
    list<list<writable>> transformed = localtransformexecutor.execute(recordreader, transformprocess)
    list<list<list<writable>>> transformedseq = localtransformexecutor.executetosequence(sequencereader, transformprocess)
    list<list<writable>> joined = localtransformexecutor.executejoin(join, leftreader, rightreader)
    

    当使用spark的时候看起来是这样子的:

    import org.datavec.spark.transforms.sparktransformexecutor;
    javardd<list<writable>> transformed = sparktransformexecutor.execute(inputrdd, transformprocess)
    javardd<list<list<writable>>> transformedseq = sparktransformexecutor.executetosequence(inputsequencerdd, transformprocess)
    javardd<list<writable>> joined = sparktransformexecutor.executejoin(join, leftrdd, rightrdd)
    

    可用的执行器


    localtransformexecutor 本地转换执行器

     

    istrycatch
    public static boolean istrycatch() 
    

     

    用给定的输入数据执行指定的转换过程

    注意:这个方法仅在转换过程返回一个非序列数据的时候可以用。对于返回序列的转换过程,使用{- link #executetosequence(list, transformprocess)}

     

     

    • 参数 inputwritables 是要处理的输入数据 input data to process
    • 参数 transformprocess 是要执行的转换过程
    • 返回处理过的数据

    sparktransformexecutor spark转换执行器

    数spark的弹性数据集上执行一个数据向量转换过程

     

    istrycatch
    public static boolean istrycatch() 
    
    •  不赞成在sparktransformexecutor用静态方法替代实例方法。

     有任何问题请联系微信 

    如果您觉得我的文章给了您帮助,请为我买一杯饮料吧!以下是我的支付宝,意思一下我将非常感激!

         

    分享到:
    评论

    相关推荐

      赠送jar包:datavec-api-1.0.0-m1.1.jar; 赠送原api文档:datavec-api-1.0.0-m1.1-javadoc.jar; 赠送源代码:datavec-api-1.0.0-m1.1-sources.jar; 赠送maven依赖信息文件:datavec-api-1.0.0-m1.1.pom; 包含...

      赠送jar包:datavec-api-1.0.0-m1.1.jar; 赠送原api文档:datavec-api-1.0.0-m1.1-javadoc.jar; 赠送源代码:datavec-api-1.0.0-m1.1-sources.jar; 赠送maven依赖信息文件:datavec-api-1.0.0-m1.1.pom; 包含...

      赠送jar包:datavec-data-image-1.0.0-m1.1.jar; 赠送原api文档:datavec-data-image-1.0.0-m1.1-javadoc.jar; 赠送源代码:datavec-data-image-1.0.0-m1.1-sources.jar; 赠送maven依赖信息文件:datavec-data-...

      赠送jar包:datavec-data-image-1.0.0-m1.1.jar; 赠送原api文档:datavec-data-image-1.0.0-m1.1-javadoc.jar; 赠送源代码:datavec-data-image-1.0.0-m1.1-sources.jar; 赠送maven依赖信息文件:datavec-data-...

      赠送jar包:deeplearning4j-datavec-iterators-1.0.0-m1.1.jar; 赠送原api文档:deeplearning4j-datavec-iterators-1.0.0-m1.1-javadoc.jar; 赠送源代码:deeplearning4j-datavec-iterators-1.0.0-m1.1-sources....

      赠送jar包:deeplearning4j-datavec-iterators-1.0.0-m1.1.jar; 赠送原api文档:deeplearning4j-datavec-iterators-1.0.0-m1.1-javadoc.jar; 赠送源代码:deeplearning4j-datavec-iterators-1.0.0-m1.1-sources....

      数据载体datavec是apache 2.0许可的库,用于机器学习etl(提取,转换,加载)操作。 datavec的目的是将原始数据转换为可用的矢量格式,然后将其提供给机器学习算法。 通过向该存储库贡献代码,您同意根据apache 2.0...

      deeplearning4j-examples:deeplearning4j示例(dl4j,dl4j spark,datavec)-源码

      (dl4j)生态系统是一组项目,旨在满足基于jvm的深度学习应用程序的所有需求。 这意味着从原始数据开始,从任何位置以任何格式加载和预处理原始数据,以构建和调整各种简单和复杂的深度学习网络。...

      dl4j-examples-0.9.1.jar 深度学习示例,其中包括: •deeplearning4j-core,包含神经网络实现方法 •nd4j-native-platform,nd4j库的cpu版本,驱动dl4j •datavec-api - datavec是我们的数据向量化和加载库

      针对java程式员所写的深度学习书籍,并使用dl4j, nd4j, datavec等程式库,亚马遜预计2017年八月中出。

      although interest in machine learning has reached a high ...use vectorization techniques for different data types with datavec, dl4j’s workflow tool learn how to use dl4j natively on spark and hadoop

      deeplearning4j-docs deeplearning4j及其所有库(dl4j,nd4j,arbiter,datavec等)的文档都位于此存储库中。 警告:请勿直接在此存储库中编辑用户指南。 提交将被还原。 请对主存储库进行更改,运行自动生成过程,...

      josh patterson, adam gibson, "deep learning: a practitioner'...use vectorization techniques for different data types with datavec, dl4j’s workflow tool learn how to use dl4j natively on spark and hadoop

      deep learning: a practitioner's approach by josh patterson ...use vectorization techniques for different data types with datavec, dl4j’s workflow tool learn how to use dl4j natively on spark and hadoop

      dl4j学习率衰减策略,机器学习应用程序由两个部分组成。一个部分负责加载数据并对其进行预加工,以供网络学习。... 我们建立了名为datavec 的库来简化这一流程。另一个部分则是实际的机器学习系统——这是dl4j的核心。

      该程序与 datevec 相同,但对秒进行四舍五入,因此消除了 60 秒未四舍五入值的问题。 它使用 datavec 并在检查日期组件时需要一些时间。

    global site tag (gtag.js) - google analytics