c sharp爬虫程序配置代理流程 -买球官网平台

`
小taomi_77
  • 浏览: 8918 次
博主相关
  • 博客
  • 微博
  • 相册
  • 收藏
  • 文章分类
    社区版块
    • ( 0)
    • ( 48)
    • ( 0)
    存档分类
    最新评论

    c sharp爬虫程序配置代理流程

    // 要访问的目标页面
        string targeturl = "http://httpbin.org/ip";


        // 代理服务器
        string proxyhost = "http://t.16yun.cn";
        string proxyport = "6447";

        // 代理隧道验证信息
        string proxyuser = "16ixngxo";
        string proxypass = "366338";

        // 设置代理服务器
        webproxy proxy = new webproxy(string.format("{0}:{1}", proxyhost, proxyport), true);


        servicepointmanager.expect100continue = false;

        var request = webrequest.create(targeturl) as httpwebrequest;

        request.allowautoredirect = true;
        request.keepalive = true;
        request.method    = "get";
        request.proxy     = proxy;

        //request.proxy.credentials = credentialcache.defaultcredentials;

        request.proxy.credentials = new system.net.networkcredential(proxyuser, proxypass);

        // 设置proxy tunnel
        // random ran=new random();
        // int tunnel =ran.next(1,10000);
        // request.headers.add("proxy-tunnel", string.valueof(tunnel));


        //request.timeout = 20000;
        //request.servicepoint.connectionlimit = 512;
        //request.useragent = "mozilla/5.0 (windows nt 6.3; win64; x64) applewebkit/537.36 (khtml, like gecko) chrome/48.0.2564.82 safari/537.36";
        //request.headers.add("cache-control", "max-age=0");
        //request.headers.add("dnt", "1");


        //string encoded = system.convert.tobase64string(system.text.encoding.getencoding("iso-8859-1").getbytes(proxyuser ":" proxypass));
        //request.headers.add("proxy-authorization", "basic " encoded);

        using (var response = request.getresponse() as httpwebresponse)
        using (var sr = new streamreader(response.getresponsestream(), encoding.utf8))
        {
            string htmlstr = sr.readtoend();
        }
    分享到:
    评论

    相关推荐

      vb.net 源码,可方便转成c# ,已做接口可获取到post返回的数据, 获取到页面代码,能执行js代码,写了些简单标注,主要供学习。

      c#开发的网络爬虫程序源码 www.fs526.com

      本爬虫程序的速度如下: 10线程最快大概500个链接每分钟 6-8线程最快大概400-500个链接每分钟 2-4线程最快大概200-400个链接每分钟 单线程最快大概70-100个链接每分钟 之所以用多线程异步抓取完全是出于效率...

      c sharp串口通信程序

      使用cefsharp来制作采集数据软件(爬虫)的思路及步骤。

      基于cefsharp开发的爬虫,使用xml和javascript配置,解决了分页的问题 开发环境: visual studio 2017 .net framework 4.5.2 c#

      c sharp windows forms 程序设计(pdf版本)(压缩卷4)

      c-sharp 小程序代码,初学者用 c-sharp 小程序代码,初学者用 c-sharp 小程序代码,初学者用

      c sharp windows forms 程序设计(pdf版本)(压缩卷2)

      microsoft c sharp windows程序设计(上下册).part1.rar

      打印机驱动 夏普sharp ar-2348sv 驱动打印机驱动 夏普sharp ar-2348sv 驱动打印机驱动 夏普sharp ar-2348sv 驱动打印机驱动 夏普sharp ar-2348sv 驱动打印机驱动 夏普sharp ar-2348sv 驱动打印机驱动 夏普sharp ar-...

      使用一个例子,实现对网站买球买球官网平台官网平台首页的城市列表进行抓取。

      c sharp windows forms 程序设计c sharp windows forms 程序设计

      夏普sharp ar-2008d复合机驱动程序是一款可以有效解决夏普sharp ar-2008d复合机驱动在使用过程中出现的一些问题的驱动工具,本站提供了夏普sharp ar-2008d复合机驱动下载地址,有需要的朋友们可以前来下载使用。...

      c-sharp 小程序代码,学习用。c# 入门

      c sharp windows forms 程序设计 很好的东西

      c sharp windows forms 程序设计(pdf版本)(压缩卷3)

      sharpdevelop为基础的很简单的一个小程序

    global site tag (gtag.js) - google analytics