Automa是一款開源的圖形化&低代碼爬蟲工具，讓用戶在不懂代碼的情況下，通過(guò)拖拽方式做一些實(shí)用的爬蟲。例如爬取微博信息、批量搜索百度、解除某些網(wǎng)站不可復(fù)制限制、下載抖音視頻、免費(fèi)看VIP視頻等等。

本系列教程將先介紹它的基本使用，然后基于它做一些有趣的項(xiàng)目實(shí)踐（包括但不限于上述所舉的例子）。本文是該系列的第二篇文章，實(shí)現(xiàn)一個(gè)自動(dòng)展開微博的爬蟲。

第一篇文章參見「低代碼爬蟲系列一」Automa實(shí)現(xiàn)一個(gè)天氣預(yù)報(bào)爬蟲

一、自動(dòng)展開微博的爬蟲背景

當(dāng)我們?cè)趐c上刷微博時(shí)，微博頁(yè)面會(huì)自動(dòng)對(duì)長(zhǎng)內(nèi)容進(jìn)行折疊。如果想要查看去全文，需要我們一一點(diǎn)擊“展開”按鈕來(lái)查看全文。那能不能實(shí)現(xiàn)一個(gè)爬蟲，打開想要查看的微博頁(yè)面，自動(dòng)點(diǎn)擊“展開”按鈕呢？

二、實(shí)現(xiàn)方案

了解了上述背景后，我們使用Automa來(lái)實(shí)現(xiàn)對(duì)應(yīng)效果。

先給出整個(gè)項(xiàng)目的工作流，如下所示，然后我們?cè)僖灰唤榻B對(duì)應(yīng)的組件及其參數(shù)。

1、觸發(fā)器

整個(gè)工作流的開始節(jié)點(diǎn)。每條工作流都有這個(gè)觸發(fā)器組件，默認(rèn)是手動(dòng)觸發(fā)模式。

2、新建標(biāo)簽頁(yè)

該組件是用于在瀏覽器中打開一個(gè)新的頁(yè)面，雙擊該組件，在左側(cè)參數(shù)欄填入對(duì)應(yīng)博主的微博頁(yè)面地址。

3、點(diǎn)擊元素

模擬點(diǎn)擊頁(yè)面對(duì)應(yīng)元素。這里我們需要點(diǎn)擊每條博文中的“展開”按鈕。Automa支持通過(guò)css選擇器或者xpath來(lái)定位元素，通過(guò)開發(fā)者模式，不難得到“展開”按鈕的css選擇器為span.expand。在參數(shù)設(shè)置中勾選多選、等待選擇器。

4、滾動(dòng)元素

模擬頁(yè)面左右滾動(dòng)或者上下滾動(dòng)的效果。由于微博是采用下拉異步加載的方式來(lái)實(shí)現(xiàn)之前的博文的，所以如果想要看之前的博文，就需要模擬下拉的功能，設(shè)置垂直滾動(dòng)為10000即可。

5、延時(shí)

由于頁(yè)面需要一定的加載時(shí)間，這里我們加入一個(gè)延時(shí)操作。即每次滾動(dòng)下滑后，等待1000ms；

6、再次點(diǎn)擊元素

和步驟3完全相同，對(duì)新加載的微博，再次點(diǎn)擊“展開”按鈕。

7、循環(huán)

類似程序設(shè)計(jì)中的循環(huán)功能。這個(gè)組件接口略微有點(diǎn)復(fù)雜，我們介紹下它的連線接口：

• 左邊接口，連接每次循環(huán)的最后一個(gè)組件；
• 右邊第一個(gè)接口，連接整個(gè)循環(huán)執(zhí)行結(jié)束后的下一個(gè)組件；
• 右邊第二個(gè)接口，連接每次循環(huán)開始的第一個(gè)組件；

還需要設(shè)置對(duì)應(yīng)的循環(huán)次數(shù)，這里我們?cè)O(shè)為3，表示將第4、5、6的步驟重復(fù)三次；

8、回到頁(yè)面最上方

使用滾動(dòng)組件，將垂直滾動(dòng)參數(shù)設(shè)為-10000，如圖所示：

到此，自動(dòng)展開微博內(nèi)容的爬蟲就已經(jīng)實(shí)現(xiàn)了。我們點(diǎn)擊右上角的運(yùn)行按鈕來(lái)看下效果。

有朋友可能不僅想要自動(dòng)展開內(nèi)容，而且要自動(dòng)抓取對(duì)應(yīng)微博到excel，這應(yīng)該如何實(shí)現(xiàn)呢？欲知后事如何，請(qǐng)聽下回分解~

（如果需要完整例子項(xiàng)目文件、或者對(duì)步驟還存在疑問的朋友，可以在評(píng)論區(qū)留言或者私信）

后面文章會(huì)做一些更復(fù)雜、更有趣的例子，敬請(qǐng)期待~

如果你有什么想做的爬蟲，也可以在評(píng)論區(qū)留言哦~