电话:400-678-0573
关闭
您当前的位置:首页 > 职场资讯 > 现场招聘会

爬虫开发工程师岗位职责有哪些

来源:平湖工作圈 时间:2022-08-30 作者:平湖工作圈 浏览量:

爬虫技术可以自动抓取分析网络中的信息,现在被广泛用于互联网搜索引擎中。爬虫开发工程师利用此技术搭建数据架构来完成平台数据收集分类以加快信息反馈。

爬虫开发工程师岗位职责有:

1、熟练使用Python,具有开发爬虫工具的能力;

2、熟悉Unix命令并了解Windows操作;

3、负责公司爬虫的技术调研工作并进行优化;

4、维护公司现有爬虫系统,分析并抓取多平台多数据;

5、负责互联网信息的特征归类,并按照结构特征和变化趋势进行数据建模;

6、设计和开发分布式爬虫和数据采集系统的架构,进行互联网相关信息的抓取和分析;

7、负责大规模信息的抓取、分类、过滤和识别工作;

8、负责制定反爬虫技术的安全方案;

9、把控程序的运行状态,及时发现并解决故障问题;

10、根据爬虫系统的缺陷问题,及时对信息架构的搭建进行调整改进。


版权声明:部分内容来源于网络,版权归原作者所有,如有问题请与我们联系,我们将及时删除。

微信扫一扫分享资讯
客服服务热线
400-678-0573
9:00-18:00
微信公众号
手机浏览

本站信息均由求职者、招聘者自由发布,平湖工作圈不承担因内容的合法性及真实性所引起的一切争议和法律责任!
Copyright @ 2021-2022 All Rights Reserved 平湖工作圈 版权所有 浙ICP备2021013244号-8 浙公网安备 33048202000573号

地址:平湖市商业文化广场A413 EMAIL:phrc@qq.com 百度统计

ICP经营许可证:浙B2-20210783 人力资源证: 330482202112310039

用微信扫一扫