展天联盟是一个内容聚合的网赚内容平台，目的是为广大网赚爱好者，以及网赚网站站长们， 提供最全面丰富的网赚资讯。
网赚爱好者可以在平台学习到最广范的网赚技术与经验。
同时，网赚站长们可以在平台发现最新的网赚资讯，以便找到灵感，在此基础上结合自身的经验，写出自己原创的网赚项目文章到自己的网站上。
所以，对于文章采集源，我们大多是采集公众号的文章，部分是采集几个比较不错的博客，自己写的占少数。
为什么选择采集微信公众号的文章？
1、原创度高，减小我排重的时间
2、互动性强，多数文章内容偏向于与读者互动。不比纯资讯站，发表后不互动
3、版面整洁，很少采集到垃圾内容
4、模板固定，不像很多博主，经常换博客模板，导致采集规则失效
本站采集了100多个微信公众号的文章，多数公众号发布的频率不是很高，但是发布的文章却都是干货。所以，目前来说，一天能够采集到原创文章大约30~50篇左右。
看到有几个同学注册展天联盟，发私信过来，问我如何采集公众号的文章，简单的回复方法，大家也看不懂，所以干脆把我稳定采集公众号内容的方法分享出来，有需要的可以参考一下。
目前，网站采集频率为每70秒扫描一轮各公众号去发现的文章，每3分钟将发现的文章，发布到网站上。
先说一下原理：
在搜狗公众号搜索公众号名称（如：人民日报），在结果页找到公众号，并获取该网址（公众号主页，即文章列表页），访问该网址抓取文章列表（如果你不是采按公众号采集文章，而是按关键词采集相关的文章则无需访问公众号文章列表页），并对比本地数据库，将新文章写入本地数据库，再使用采集软件，发布到网站上
展天联盟刚建立时，采集公众号文章，是我第一次写公众号的规则，之前都是采集网站或博客，限制不是很多。采集公众号时，所以接连遇到多个问题。
我采集公众号文章遇到的问题及优化步骤：
1、我用的是ET采集器免费版（免费版运行15分钟会自动停止，自制的脚本，ET停止会自动启动，所以能够24小时不间断运行）
2、采集前，参考官方的公众号采集思路（按搜索关键词结果采集），写的按公众号采集规则。
3、最开始我是直接将几十个公众号搜狗微信搜索结果页放到1个文本中，用ET采集器会轮流从这些页面抓取新新文章，因为数量多以及频率高，导致没运行多长时间，抓取不到新文章，软件上测试抓取源码，发现是要输入验证码，于是我在浏览器中登陆搜狗，使用搜狗搜索公众号，输入验证码，将COOKIE导入到ET中，同时，抓取频率变成每15秒抓取一次，没用多久，验证码依旧。15秒抓取一次，也就是说100个公众号，跑一遍就得1500秒，近半小时。这周期太长，而且后期可能还会增加更多的公众号，所以只能挂IP代理去抓取！！
4、et采集器无法使用多个ip轮番代理，所以，自己写个软件，并购买一些ip代理去抓取（没用远程打码的功能是想着彻底解决，即使打码，也可能要遇到未知的问题，比如ip被屏蔽，到最后还是靠代理），并将抓取到的文章写到本地文件wx-artlist.txt，et采集器改为从该文件中采集新文章，完美的解决搜狗访问受限问题。
5、每天大约花费10~20块购买这些IP，后来想着，能否这笔费用，于是，将自己手里现有的6台vps，又申请几个景安的免费空间，各放了个php文件，反向代理抓取，完美解决，成功省去这笔钱！
6、目前一天大约采集100~200篇文章（并非全部可用，有些内容不符），抓取文章内容与发布，仍然用的et采集器，所以本地采集目前没问题到问题（公众号主页不显示文章列表，不影响）
7、ET采集官方发布的采集规则，内容过滤不好使，自己优化了一下，把一些杂乱标签全部替换成了段落标签或换行符
目前为止，稳定采集近2个月
现在每天早上起床开始采集，晚上睡觉关电脑，期间，全自动采集发布到网站的文章回收站中，自己闲的时候，在回收站找到优质的文章手动审核发布到网站上。
有些同学可能会问，手动审核为什么还要采集，复制粘贴不就好了。
1、公众号图片无法外链，保存图片再上传，很费事，有些文章图片过多，可能5分钟就搞不定，采集这个时间是省掉了。
2、一个个打开去看哪个公众号的新文章适宜采集（从目前每天200个文章中选50个文章），也费时间，哪有列表直接显示新文章来得快！
目前软件也开始尝试采集搜狗微信搜索的“网赚”、“赚钱”等关键词的搜索结果，并抓取最近的文章。原理一样，大同小异。
先说这么多，如果你的公众号文章不错，想将你的公众号文章自动同步到展天联盟，可联系我们采集，当然如果你觉得本站采集你的公众号影响你们的访问，可联系停止采集你的公众号文章。
本文链接：https://www.zhantian9.com/53922.html
相关推荐
-
教你一招月入2万的互联网细分领域创业玩法
懒惰绝对是万恶之源，昨天晚上睡觉前定了今天的安排计划，本来周六被安排的满满当当的，有一些平时来不及做的事情要处理一下。 早上醒来去趟洗手间，发现今天好冷啊，而且阴阴的在下着小雨，于…
-
红包封面拦截引流再遭封杀，这样拦截引流才赚钱
红包上线以来，做拦截引流的伙伴就没有放弃过，特别是通过公众号昵称拦截的，各种办法都想尽了，比如商标授权都全部用上，有的商标授权达到上千，可以想象有多少人想要拦截公众号红包封面的流量…
-
过年刚需项目，利用信息差日赚500+
今早收到一条春运火车票抢购微博推送 看到这条消息的人，多少有思家情绪。 一年啊，眼看着又要到头了。 【一】 独在异乡为异客，每逢佳节倍思亲。 这时候的心情，掌柜是非常能理解的。 都…
-
我半夜跑滴滴赚钱，每个月收入在5000-10000元
今天我给朋友们，分享我半夜跑滴滴赚钱的经历。我基本全月都在跑，一周可能只休息2天，目前收入稳定在5000-10000元左右，如果你每天在线13个小时以上，流水自然会高，就是多劳多得…
-
如果你还没有通过互联网实现月入3万，说明这几点你做的不够
创业这10年，一路走来，看到身边很多人都是通过互联网改变了自己的命运。 原来是流水线工人，煤矿工人、服装店店员、饭店厨师，然后转型做电商、微商、新媒体……，或者自己操作一些互联网项…
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 2000000@qq.com 举报，一经查实，本站将立刻删除。