博客专栏 -买球官网平台

使用fourinone可以完成大部分分布式并行计算需求, 但是计算过程中的故障和容灾处理是怎么进行的呢, 这里详细分析一下： 总的来说，fourinone框架不会在设计中抛弃错误不处理或者容忍错误导致框架崩溃，框架通常会捕获所有的错误反馈给开发者去处理，但是框架本身不自作主张，替开发者考虑处理方案，只有这样框架才能从特定场景中抽象出来，给开发者更灵活的发挥和去满足各种更复杂业务容错情况。 那么框 ...

分布式协同是分布式应用中不可缺少的，通常担任协调者的角色，或者说是将多机协同的职责从分布式应用中独立出来，以减少系统的耦合性和增强扩充性。apache的zookeeper, google的chubby都是分布式协同的实现者。fourinone实际上可以单独当做zookeeper用，它使用最少的代码实现了zookeeper的所有功能，并且力图做到功能更强但是使用更简洁。 一、实现原理 fourino ...

在分布式计算上手demo，分布式计算sayhello，分布式计算完整demo中, 对于工人（worker）、工头(ctor)，parkserver在多台计算机上的部署和配置： 每台计算机放� ...

假设你已经看过分布式计算上手demo指南,对fourinone基本的分布式并行计算方式有了初步了解。 本demo演示了工头和几个工人之间互相sayhello的简单例子，从而了解到集群计算节点之间互相交互，以及工头批量处理和工人互相传递数据（多用于合并）的功能。 helloctor：是一个工头实现，它实现givetask接口，它首先通过getwaitingworkers获取到一个线上工人的集合，然 ...

对于一个分布式计算的应用,如果不需要自动部署，将工头工人程序文件分别部署到相应机器运行即可,不需要过多配置。 fourinone2.0可以支持自动化class和jar包部署,class和jar包只需放在工头机器上， 各工人机器会自动获取并执行，兼容操作系统，不需要进行安全密钥复杂配置. 假设有一个分布式计算job，包括三个程序文件： jobctor:包工头实现 jobworker：农民工实现 j ...

fourinone2.0里通过fttpadapter和fileadapter实现文件io的支持。其中，fttpadapter提供对远程文件的操作，fileadapter提供对本地文件的操作，两者api和使用相似，这� ...

filebatch类提供了一系列对批量并行读写操作支持（包括对fttpadapter和fileadapter），它跟并行读写的区别是不需要检查结果，会等到所有并行读写任务全部� ...

fttpadapter是通过fttpreadadapter的tryreadall方法进行并行读fttpadapter fa = new fttpadapter("fttp://10.232.20.151/home/log/1.log");result rs = fa.getfttpreader().tryre ...

假设通过fttpadapter已经读取到远程文件中一部分数据，如下：fttpadapter fa = new fttpadapter("fttp://10.232.20.151/home/log/1.log");fttpreadadapter reader = fa.getfttpreader();byte[] bts = reader.readall(); 上面得到一个byt ...

fttpadapter是通过fttpreadadapter来直接读取远程文件内容 fttpadapter fa = new fttpadapter("fttp://10.232.20.151/home/log/1.log");fttpreadadapter reader = fa.getfttpreader();byte[] bts = reader.readall(); 上 ...

集群文件复制是经常面临的需求，比如备份容灾，文件迁移，同步数据等等 fttpadapter提供了简单高效的文件复制方法，支持远程文件的集群内复制fttpadapter fromfile = new fttpadapter("fttp://10.232.20.151/home/log/a.log");fttpadapter tofile = fromfile.copyto(&q ...

fttpadapter fa = new fttpadapter("fttp://10.232.20.151/home/qianfeng.py/fttp/tmp/1.log");上面实例化一个fttpadapter类，并输入一个fttp路径，可以是一个目录路径，也可以是个文件路径 fttpadapter类提供了一系列访问远程文件的方法：createdirectory和creat ...

启动成功fttpserver后，可以使用fttpadapter的api进行相关操作： fttpadapter.fttproots()是一个静态方法，可以得到集群文件系统根目录，它返回一个string数组，通常是ip字符对应每台计算机。 listroots（）方法可以得到每台计算机上的硬盘目录，比如： fttpadapter fa = new fttpadapter("fttp://&q ...

fttpadapter的使用很简单，在每台计算机上启动一个fttpserver即可，另外需要启动一个parkserver负责协同。parkserver也可以和其中一个fttpserver放在相同计算机上 1、启动parkserverdemo（它的ip端口已经在配置文件的park部分的servers指定） 2、每台计算机启动fttpserver,需要指定该计算机的ip为输入参数 启动好后，然后打开 ...

fourinone也可以当成简单的mq来使用，该demo演示了队列和主题订阅两种模式的实现 一、队列 将domain视为mq队列，每个node为一个队列消息，检查domain的变化来获取队列消息。 sender：是一个队列发送者，他发送消息的实现是在queue上创建一个匿名节点来存放消息 pl.create(queue, (serializable)obj); receiver：是一个队列 ...

利用fourinone可以轻松实现分布式缓存功能： 1、中小应用的缓存实现：直接启动一个parkserver，分别在两个java进程中使用parklocal的create和get方法即可实现缓存的读写操作。 2、如果是大型网站的缓存，单台parkserver的压力不能承受，需要建立多台cacheserver，并且使用cachefacade进行负载均衡，cachefacade会根据key自动寻找存 ...

lockdemo是利用fourinone进行分布式锁的实现： 可以启动多个lockdemo实例，每个实例在fourinone上建立一个自己的node, node的domain为lock， node的值为node 然后再轮循判断domain lock的第一个元素是否是自己的node，如果是，就执行，这里模拟线程执行8秒，执行完将自己的node删除，代表释放锁；如果不是，就继续等待。 运行步骤： ...

对于像淘宝这样上万台服务器集群环境的大型互联网应用, 通常我们面临这样一种需求: 我们需要一个集群管理者管理集群里的服务器，同一个集群中任� ...

在分布式多台机器环境下,维持统一的配置信息是最常见的需求, 当配置信息改变时,所有的机器能实时获取并更新。 fourinone通过park进行配置信息管理，pa ...

我们现实中的分布式计算存在多个环节，比如有的任务拆分，有的计算结果合并，或者是多个拆分和合并，他们之间是串行关系，也就是合并必须等待拆分和计算完成才能进行，同时每个拆分或者合并的任务又都是并行的过程。 ctordemo：是包含了3个工头实例，对应3个环节，链式处理，实现过程获取到线上工人节点，进行调用，所有的分配任务和中间结果存储都由自己实现处理。 这里简单的将20条数据分配给多个工人处理， ...