崗位職責(zé)：
1.負(fù)責(zé)采集任務(wù)的分析及采集方案設(shè)計(jì)；
2.負(fù)責(zé)定向網(wǎng)站相關(guān)渠道的數(shù)據(jù)采集；
3.負(fù)責(zé)相關(guān)數(shù)據(jù)的采集、去重、清洗、分析、轉(zhuǎn)換與入庫(kù)；
5.完成上級(jí)安排的數(shù)據(jù)采集相關(guān)工作。

崗位要求：
1.兩年以上python開發(fā)經(jīng)驗(yàn)，熟悉常用的信息抓取策略；
2.熟悉信息抓取和整合技術(shù)，從結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息；
3.熟悉正則表達(dá)式
4.熟悉Mongodb、HBase、HIVE等NoSQL數(shù)據(jù)庫(kù)、Mysql數(shù)據(jù)庫(kù)，了解關(guān)系型數(shù)據(jù)庫(kù)優(yōu)先；
5.熟悉大規(guī)模網(wǎng)頁(yè)爬取，深度網(wǎng)頁(yè)爬取，熟悉Scrapy、Pyspider等工具優(yōu)先考慮；
6.理解http，熟悉html, DOM, xpath優(yōu)先；
7.有責(zé)任心，學(xué)習(xí)能力強(qiáng)，良好的團(tuán)隊(duì)合作精神，對(duì)工作有熱情；
8.本科以上學(xué)歷，數(shù)學(xué)、統(tǒng)計(jì)學(xué)、計(jì)算機(jī)等相關(guān)專業(yè)。

PatSnap is a disruptive market leading provider of intellectual property
analytics, for analysing technology trends, accelerating innovation, market
planning, competitor intelligence and maximising returns on existing and new
IP assets. It is used by over 3000 organisations globally including Nasa, GE,
Lego, Vodafone, Ferrari, Siemens, Xiaomi and China Mobile. The company is
backed by world class venture capital firms such as Sequoia, Summit
Partners, Shunwei and Vertex Ventures. With an impressive revenue growth
rate of 1078% from 2014 to 2016, PatSnap was ranked 44 on “Deloitte
Technology Fast 500”.
智慧芽是一家全球領(lǐng)先的知識(shí)產(chǎn)權(quán)信息服務(wù)(SaaS)提供商，基于專利大數(shù)據(jù)，
幫助分客戶析和了解最新技術(shù)發(fā)展趨勢(shì)并加速創(chuàng)新、獲取競(jìng)爭(zhēng)對(duì)手情報(bào)、科學(xué)
進(jìn)行市場(chǎng)布局以及實(shí)現(xiàn)知識(shí)產(chǎn)權(quán)價(jià)值最大化，提高企業(yè)核心競(jìng)爭(zhēng)力。目前全球
已有超過(guò)3000 多機(jī)構(gòu)和企業(yè)成為智慧芽的客戶，如美國(guó)宇航局、通用、樂(lè)高、
沃達(dá)豐、法拉利、西門子、小米、中國(guó)移動(dòng)等。智慧芽得到了包括紅杉、頂峰
投資、順為、淡馬錫祥峰基金等世界頂級(jí)風(fēng)險(xiǎn)投資機(jī)構(gòu)的青睞和投資。2014～
2016 年，智慧芽的營(yíng)業(yè)收入以超過(guò)1078%的增長(zhǎng)率快速發(fā)展，被評(píng)為德勤亞太
區(qū)高科技高成長(zhǎng)500 強(qiáng)企業(yè)，并獲得第44 位的優(yōu)質(zhì)排名。