screamingfrogseospider可以爬取需要登录的网站么

1、需要爬取的页面，在robots文件中的disallow里面不要写入即可。

2、ScreamingFrogSEOSpider功能简介 懒得自己一句句翻译，直接用有道网页翻译后COPY过来的：），E文好的同学直接看原文吧：）ScreamingFrogSEOSpider搜索引擎蜘蛛爬行工具&报告如下：HTTP错误代码——客户端错误等失效链接&服务器错误(5没有反应，4 xx，xx)。重定向——永久或临时重定向(3 xx响应)。

screamingfrogseospider怎样爬行需要登录的网站

1、用户代理切换器——Googlebot爬行，Bingbot，雅虎！发出声音，移动用户代理或您自己的自定义UA。重定向链，发现重定向链和循环。自定义源代码搜索——搜索引擎蜘蛛可以找到任何你想要在一个网站的源代码！无论是谷歌分析代码，具体的文本，或代码等。(请注意，这不是一个数据提取或刮特性。

2、需要爬取的页面，在robots文件中的disallow里面不要写入即可。

3、Screaming Frog SEO Spider for Mac可以帮助您从不同的网页上选择需要抓取的内容，软件具有网页蜘蛛功能，您可以让蜘蛛在网页上不断的搜索需要的资源，可以设置搜索的一个主要网页地址，并设置自定义分析扩展页面的功能。

哪个网盘的空间比较大?

天翼云盘（中国电信）：与蓝奏云不同，天翼云盘支持多端操作，方便随时共享文件。免费用户享受不限速的特权。然而，免费提供的存储空间仅为30G，付费后可升级至4T。和彩云（中国移动）：类似于天翼云盘，和彩云是中国移动推出的服务。

百度网盘：作为市场上较为流行的免费云盘之一，百度网盘为用户提供了一定量的免费存储空间。用户可以利用这一空间存储和分享文件，同时进行文件备份和跨设备同步。虽然免费版本在功能上可能有所限制，但其提供的存储空间相对较大，能够满足大多数基本需求。

百度网盘：百度网盘是市场上占有率较高的免费云盘之一，其提供的免费存储空间相对较大。用户不仅可以存储各类文件，还可以分享、备份文件，且支持多种设备间的文件同步。其免费版本虽然可能在功能上有所限制，但在存储空间方面表现不错。