嗯,花了3天整的时间,从0构建起了一个常用WEB程序的爬虫。
这个构建计划从4个月前开始就已经计划过了。因为各种原因被长时间搁浅。4天前推掉了从朋友那边结果来的一个小爬虫脚本,开始思忖将自己这个一直因为赖床而搁浅掉的计划逐渐吃下。
鉴于现在多数WEB APPLICATION是禁止ROBOT的,我也暂时不放出脚本成品和脚本内容。只说一下这几天调试过程中遇到的一些小问题,顺便总结一下BASH脚本编写的一些新手常见问题。
一开始写的时候就有人吐槽——为神马用BASH而不用程序语言?
——。。ECLIPSE已经卸掉了,除非后期有需要,否则暂无改写计划。况且BASH作为LINUX系统的最常见的脚本语言,脚本可经简单修改后随同BUSYBOX写入嵌入式系统中,在实际应用中虽然比C/PYTHON/RUBY的适用性差点,不过作为一个个人爬虫脚本来说足矣。
倘若哪天自己不用这个WEB APP了,估计会将代码全部放出吧。暂时这里只留一些笔记。