datavec/读取器 -买球官网平台

`
bewithme
  • 浏览: 405615 次
  • 性别:
  • 来自: 上海
博主相关
  • 博客
  • 微博
  • 相册
  • 收藏
  • 社区版块
    • ( 0)
    • ( 127)
    • ( 49)
    存档分类
    最新评论

    datavec/读取器

      博客分类:
    • dl4j

    读取器

     

          读取器从存储中的数据集迭代记录,并将数据加载到数据向量中。除了数据集中的单个条目之外,阅读器的用处包括:如果想要在语料库上训练文本生成器,或是以编程方式将两个条目组合在一起形成新的记录的时候该怎么办?读取器实现对于复杂的文件类型或分布式存储机制是有用的。

    读取器返回记录记录中每一列的writable类。这些类用于将每个记录转换为张量/ndarray 格式。

     

     

    使用

     

    每个读取器实现都扩展了baserecordreader并提供了一个简单的api用于选取数据集中的下一条记录,行为类似于迭代器。

    包括以下有用的方法:

    • next: 返回一个批量的 writable
    • nextrecord: 返回单条记录,recordmetadata 是可选的。
    • reset: 重置基础迭代器。
    • hasnext: 迭代器方法以确定是否有其他记录可用 。

    监听器

     

    你可以将自定义的recordlistener挂钩到记录读取器进行调试或可视化目的。在初始化类之后,立即将你的自定义侦听器传递给addlistener基类方法。

     

    读取器的类型

     

    initialize
    public void initialize(inputsplit split) throws ioexception, interruptedexception 
    

    记录读取器用于每个管道。独立的记录是由两个集合连接而成的。


    concatenatingrecordreader 连接记录读取器

     

    把多个读取器合并为一个读取器。记录按顺序读取-因此如果第一个取读器有100条记录,并且第二个读取器有200条记录,那么连接记录读取器将有300条记录。

     


    filerecordreader 文件记录读取器

    文件读取/写入

     

    getcurrentlabel
    public int getcurrentlabel() 
    

    返回当前标签。标签列表中当前文件的父目录的索引。

     

    • 返回当前文件父目录的索引

    linerecordreader 行记录读取器

    一行一行读取文件


    collectionrecordreader 集合记录读取器

    集合记录读取器,主要用于测试。


    collectionsequencerecordreader 集合序列读取器

    用于序列的集合记录读取器,主要用于测试。

    initialize
    public void initialize(inputsplit split) throws ioexception, interruptedexception 
    
    •  参数records是序列集合。例如list> 这里内部两个列表都是序列,并且外部的列表/集合是一个序列。

    liststringrecordreader 集合字符记录读取器

    迭代一个字符列表返回一条记录

    initialize
    public void initialize(inputsplit split) throws ioexception, interruptedexception 
    

    在初始化的时候调用一次。

    • 参数 split是定义要读取的记录范围的拆分
    • 抛出 ioexception
    • 抛出 interruptedexception
    initialize
    public void initialize(configuration conf, inputsplit split) throws ioexception, interruptedexception 
    

    在初始化的时候调用一次

    • 参数  conf是一个用于初始化的配置
    • 参数 split是定义要读取的记录范围的拆分
    • 抛出 ioexception
    • 抛出 interruptedexception
    hasnext
    public boolean hasnext() 
    

     判断是否有下一条记录

    • 返回布尔值 
    reset
    public void reset() 
    

    重置

    • return
    nextrecord
    public record nextrecord() 
    

     

    从给定的datainputstream加载记录,与{-link#next()}不同,recordreader的内部状态没有修改。此方法的实现不应关闭datainputstream。

     

    • 参数 uri
    • 参数 datainputstream
    • 抛出 ioexception ,如果从输入流中读取的时候出错。
    close
    public void close() throws ioexception 

    关闭此流并释放与之相关联的任何系统资源。如果流已经关闭,那么调用此方法没有效果。如{-link autocutabysycuffe()}所指出的,关闭可能失败的情况需要仔细注意。强烈建议在抛出{-code ioexception}之前,放弃底层资源,并在内部将{-code closeable}标记为关闭。

    • 抛出 ioexception, 如果 i/o 错误发生。
    setconf
    public void setconf(configuration conf) 
    

    设置此对象要使用的配置。

    • 参数 conf
    getconf
    public configuration getconf() 
    

    返回此对象所使用的配置。


    csvrecordreader csv记录读取器

    简单的csv读取器。

    initialize
    public void initialize(configuration conf, inputsplit split) throws ioexception, interruptedexception 
    

    跳过前n行

    • 参数 skipnumlines 需要跳过的行数

    csvregexrecordreader csv正则记录读取器

    一个csv正则记录读取器,它可以使用正则将每个列拆分为其他列。

     


    csvsequencerecordreader csv序列记录读取器

    csv序列记录读取器此读取器旨在读取csv格式的数据序列,其中每个序列在其自己的文件中定义(并且有多个文件),文件中的每一行表示一个时间步骤。


    csvvariableslidingwindowrecordreader csv可变滑动窗口记录读取器

    在整个csv上可变大小的滑动窗口。在实践中,滑动窗口大小开始于1,然后线性增加到最大线性序列,然后线性下降回到1。

    initialize
    public void initialize(configuration conf, inputsplit split) throws ioexception, interruptedexception 
    

     

    带有每个序列默认行数为10的无参构造器


    libsvmrecordreader libsvm记录读取器

     

    libsvm格式的记录读取器,它与svmlight格式密切相关。与scikit学习类似,我们为两种格式使用同一个读取器,因此该类是svmleadreadreader的子类。

    关于格式的进一步细节可以在如下网站中找到


    matlabrecordreader matlab记录读取器

    matlab记录读取器


    svmlightrecordreader svmlight记录读取器

     

     

    用于svmlight格式的记录读取器,它通常可以描述为如下

    label index:value index:value …

    svmlight格式非常适合于稀疏数据(如词袋),因为它忽略了所有值为零的特征。

    我们支持一个“扩展”版本,允许多个目标(或标签)用逗号分隔,如下:

    label1,label2,… index:value index:value …

    这可以用于表示多任务问题或具有稀疏二进制标签的多任务问题(通过“multilabel”配置选项进行控制)。

    与scikit学习一样,我们支持基于零的和基于一个的索引。

     

    关于格式的进一步细节可以在如下网站中找到

     

    initialize
    public void initialize(configuration conf, inputsplit split) throws ioexception, interruptedexception 
    

    在尝试读取记录之前调用。

    • 参数 conf 是数据向量配置
    • 参数 split是文件分割器
    • 抛出  ioexception
    • 抛出 interruptedexception
    setconf
    public void setconf(configuration conf) 
    

    set configuration. 设置配置

    • 参数 conf 是数据向量配置
    • 抛出  ioexception
    • 抛出 interruptedexception
    hasnext
    public boolean hasnext() 
    

    帮助检测被注释的行的帮助函数。可以提前读取并缓存一行。

    • return
    nextrecord
    public record nextrecord() 
    

    以writables的列表返回下一个记录。

    • return

    regexlinerecordreader 正则行记录读取器

     

    读取一整个文件,每次一行,并使用正则分割字段。例如:输入数据的格试为“2016-01-01 23:59:59.001 1 debug first entry message!”

    使用正则字符 “(\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}\.\d{3}) (\d ) ([a-z] ) (.)”将被分割为4个文本writables: [“2016-01-01 23:59:59.001”, “1”, “debug”, “first entry message!”]

     

    regexsequencerecordreader 正则序列记录读取器

    读取一整个序列文件,每次一行,并使用正则分割字段。例如:输入数据的格试为“2016-01-01 23:59:59.001 1 debug first entry message!”

    使用正则字符 “(\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}\.\d{3}) (\d ) ([a-z] ) (.)”将被分割为4个文本writables: [“2016-01-01 23:59:59.001”, “1”, “debug”, “first entry message!”]

    不匹配正则的行会倒致一个异常(failoninvalid),可以被悄悄跳过(skipinvalid),或跳过无效但记录一个警告(skipinvalidwithwarning)

     


    transformprocessrecordreader 转换过程记录读取器

     

    在返回之前应用一个转换过程。

    initialize
    public void initialize(inputsplit split) throws ioexception, interruptedexception 
    

    在初始化的时候调用一次

    • 参数  split 分割器,它定义记录被读取的范围
    • 抛出 ioexception
    • 抛出 interruptedexception
    initialize
    public void initialize(configuration conf, inputsplit split) throws ioexception, interruptedexception 
    

    在初始化的时候调用一次

    • 参数 conf初始化需要的一个配置
    • 参数  split 分割器,它定义记录被读取的范围
    • 抛出 ioexception
    • 抛出 interruptedexception
    hasnext
    public boolean hasnext() 
    

    得到下一行

    • return
    reset
    public void reset() 
    

    重置 

    • return
    nextrecord
    public record nextrecord() 
    

    从给定的datainputstream加载记录,与{-link#next()}不同,recordreader的内部状态没有修改。此方法的实现不应关闭datainputstream。

     

    • 参数 uri
    • 参数 datainputstream
    • 如果从输入流中读取的时候出错则抛出 ioexception 。
    loadfrommetadata
    public record loadfrommetadata(recordmetadata recordmetadata) throws ioexception 

    从一个recordmetadata实例中加载单个记录。注意:对于不可分割的数据(即需要扫描/分割的文本数据),通过使用{- link #loadfrommetadata(list)}一次加载多行是更有效的。

    • 参数  recordmetadata 是 我们想要加载记录的metadata 
    • 为给定的recordmetadata实例返回单个记录
    • 如果在加载过程中发生 i/o错误则抛出 ioexception
    loadfrommetadata  原文档中漏了这个方法说明
    public list loadfrommetadata(list recordmetadatas) throws ioexception
    

    从给定recordmetadata实例列表中加载多条记录

    • 参数  recordmetadata 是 我们想要加载记录的metadata
    • 为给定的recordmetadata实例返回多条记录
    • 如果在加载过程中发生 i/o错误则抛出 ioexception
    setlisteners 
    public void setlisteners(recordlistener... listeners) 
     
     
    setlisteners
    public void setlisteners(collection listeners) 
    

    为这个记录读取器设置记录监听器

    • 参数 listeners
    close
    public void close() throws ioexception 

     

    关闭此流并释放与之相关联的任何系统资源。如果流已经关闭,那么调用此方法没有效果。如{-link autocutabysycuffe()}所指出的,关闭可能失败的情况需要仔细注意。强烈建议在抛出{-code ioexception}之前,放弃底层资源,并在内部将{-code closeable}标记为关闭。

    • 抛出 ioexception, 如果 i/o 错误发生。

     

     

    setconf
    public void setconf(configuration conf) 
    

     设置这个对象使用的配置

    • 参数 conf
    getconf
    public configuration getconf() 
    

    返回这个对象使用的配置


    transformprocesssequencerecordreader 转换过程序列记录读取器

    在返回之前被转换

    setconf
    public void setconf(configuration conf) 
    

    设置这个对象使用的配置

    • 参数 conf
    getconf
    public configuration getconf() 
    

    返回这个对象使用的配置。

     

    batchessupported
    public boolean batchessupported() 
    

    返回是否支持批量

    • 返回一个布尔值
    nextsequence
    public sequencerecord nextsequence() 
    

    从给定的datainputstream加载序列记录,与{-link#next()}不同,recordreader的内部状态没有修改。此方法的实现不应关闭datainputstream。

     

    • 参数 uri
    • 参数 datainputstream
    • 如果从输入流中读取的时候出错则抛出 ioexception 。
    loadsequencefrommetadata
    public sequencerecord loadsequencefrommetadata(recordmetadata recordmetadata) throws ioexception 
    

    从一个recordmetadata实例中加载单个记录。注意:对于不可分割的数据(即需要扫描/分割的文本数据),通过使用{- link #loadsequencefrommetadata(list)}一次加载多行是更有效的。

    • 参数  recordmetadata 是 我们想要加载序列记录的metadata 
    • 为给定的recordmetadata实例返回单个记录
    • 如果在加载过程中发生 i/o错误则抛出 ioexception

     

    loadsequencefrommetadata  原文档中漏了这个方法说明
    public list loadsequencefrommetadata(list recordmetadatas) throws ioexception
    

    从给定recordmetadata实例列表中加载多条记录

    • 参数  recordmetadata 是 我们想要加载记录的metadata
    • 为给定的recordmetadata实例返回多条记录
    • 如果在加载过程中发生 i/o错误则抛出 ioexception

     

    initialize
    public void initialize(inputsplit split) throws ioexception, interruptedexception 
    

     

     

     

     

    initialize
    public void initialize(configuration conf, inputsplit split) throws ioexception, interruptedexception  

    在初始化的时候调用一次

    • 参数 conf是一个用于初始化的配置
    • 参数 split是定义要读取的记录范围的拆分
    • 抛出 ioexception
    • 抛出 interruptedexception

    hasnext

    public boolean hasnext() 
    

    得到下一条记录

    • return
    reset
    public void reset() 
    

     重置 

    • return
    nextrecord
    public record nextrecord() 
    

    从给定的datainputstream加载记录,与{-link#next()}不同,recordreader的内部状态没有修改。此方法的实现不应关闭datainputstream。

     

    • 参数 uri
    • 参数 datainputstream
    • 如果从输入流中读取的时候出错则抛出 ioexception 。
    loadfrommetadata
    public record loadfrommetadata(recordmetadata recordmetadata) throws ioexception 
    

     

    从一个recordmetadata实例中加载单个记录。注意:对于不可分割的数据(即需要扫描/分割的文本数据),通过使用{- link #loadfrommetadata(list)}一次加载多行是更有效的。

    • 参数  recordmetadata 是 我们想要加载记录的metadata 
    • 为给定的recordmetadata实例返回单个记录
    • 如果在加载过程中发生 i/o错误则抛出 ioexception

     

    loadfrommetadata 此方法说明在原文档中没有
    public list loadfrommetadata(list recordmetadatas) throws ioexception
    

     

    从一个recordmetadata实例中加载单个记录。注意:对于不可分割的数据(即需要扫描/分割的文本数据),通过使用{- link #loadfrommetadata(list)}一次加载多行是更有效的。

    • 参数  recordmetadata 是 我们想要加载记录的metadata 
    • 为给定的recordmetadata实例返回多条记录
    • 如果在加载过程中发生 i/o错误则抛出 ioexception
    setlisteners
    public void setlisteners(recordlistener... listeners) 
    

     

    setlisteners
    public void setlisteners(collection listeners) 
    

    为这个记录读取器设置记录监听器。

    • 参数 listeners
    close
    public void close() throws ioexception 

    关闭此流并释放与之相关联的任何系统资源。如果流已经关闭,那么调用此方法没有效果。如{-link autocutabysycuffe()}所指出的,关闭可能失败的情况需要仔细注意。强烈建议在抛出{-code ioexception}之前,放弃底层资源,并在内部将{-code closeable}标记为关闭。

    • 抛出 ioexception, 如果 i/o 错误发生。

    nativeaudiorecordreader 本地音频记录读取器

    使用ffmpeg的本地音频文件加载器。


    wavfilerecordreader 声音文件记录读取器

    声音文件加载器


    imagerecordreader 图片记录读取器

    图像记录读取器。读取本地文件系统并解析给定高度和宽度的图像。所有图像被重新缩放并转换为给定的高度、宽度和通道数量。

    如果指定,还附加标签(基于目录结构的k个编码之一,其中根目录的每个子目录是一个索引标签)

     


    videorecordreader 视频记录读取器

     

    视频只是一个移动的图片窗口。应该这样处理。这会遍历根文件夹并返回一帧。

    initialize
    public void initialize(inputsplit split) throws ioexception, interruptedexception 
    

    用给定的高和宽加载记录读取器

    • 参数 height 是加载的高度
    • 参数 width 是加载的宽度

    tfidfrecordreader 词频-逆向文件频率记录读取器

    词频-逆向文件频率记录读取器(封装一个tfidf矢量化器,用于传送标签并遵守记录读取器接口)

     

     

    有任何问题请联系微信 

    如果您觉得我的文章给了您帮助,请为我买一杯饮料吧!以下是我的支付宝,意思一下我将非常感激!

        

     

     

     

    分享到:
    评论

    相关推荐

      解决数码视讯q5使用usb_burning_tool刷机时 提示 初始化ddr/读取初始化结果/usb错误

      ///////////////////////读取文本中的行数据//////////////////

      颜色读取器/屏幕取色小工具,内含颜色表(colortable.htm),点击colorsucker.exe运行,网页设计,程序开发必备。

      读取系统版本信息 读取dll或exe版本信息 适用于powerbuilder11以上

      反ce或od内存扫描/读取/修改。@枫叶果果吖。

      javascript 实现的二维码产生/读取, 纯javascript实现

      前端js解析/读取excel文件,完整解析,简单操作,买球官网平台官网地址 http://oss.sheetjs.com/js-xlsx/

      visual c 源代码 111 如何使用数据读取器逐行读取记录visual c 源代码 111 如何使用数据读取器逐行读取记录visual c 源代码 111 如何使用数据读取器逐行读取记录visual c 源代码 111 如何使用数据读取器逐行读取...

      本地密码储存读取器本地密码储存读取器本地密码储存读取器

      【条码读取器】超小型二维码读取器zip,【条码读取器】超小型二维码读取器

      编译原理实验程序集.rar : 无符号数的自动机实现/单词的识别/读取无符号数/无符号数的有穷自动机/ 标识符识别,用c或c 实现

      最近因为一些项目需要大量插入数据,研究了下asp.net实现postgresql快速写入/读取大量数据,所以留个笔记 环境及测试 使用.net驱动npgsql连接post数据库。配置:win10 x64, i5-4590, 16g ddr3, ssd 850evo. ...

      rgb读取器 可以获取桌面任意位置的颜色信息

      【条码读取器】bl-1300系列 高速度数字条码读取器zip,【条码读取器】bl-1300系列 高速度数字条码读取器

      原来为读pdf格式的文件而发愁,现在好了,有了它既不占系统资源,功能强大。

      利用opencv自带库,读取摄像头,采集信号,扣除背景,计算质心,

      星号读取器

      颜色代码读取器,鼠标拖动吸管到任何位置,可显示rgb和网页颜色值.

      c51单片机控制ad7746芯片读取电容值后通过共阴极数码管显示的kiel工程源码,可做为你的学习设计参考。 void main() { initt(); while(1) { read_add(mrd,3);//读取的值共有3个字节24位 h=mrd[0];//读取高8位...

    global site tag (gtag.js) - google analytics