企业官网建设流程全解析

asp网站防攻击,站群cms源码,兰州网站网站建设,点胶机 东莞网站建设初学者写第一个 Python 爬虫 的最友好路径#xff0c;通常是使用 requests BeautifulSoup4 的组合。这套组合在 2026 年仍然是入门首选#xff1a;简单、强大、社区资源最多。 目标#xff1a;爬取一个静态网页#xff08;比如“豆瓣图书 Top 250” 或 “示例网站”…初学者写第一个Python 爬虫的最友好路径通常是使用requests BeautifulSoup4的组合。这套组合在 2026 年仍然是入门首选简单、强大、社区资源最多。目标爬取一个静态网页比如“豆瓣图书 Top 250” 或 “示例网站”提取书名、评分、简介等信息并打印出来。第一步准备环境5 分钟确保你已经安装 Python推荐 3.10 或 3.11/3.12/3.13。在命令行cmd / PowerShell / 终端执行pipinstallrequests beautifulsoup4验证安装importrequestsfrombs4importBeautifulSoupprint(安装成功)第二步最简单可运行的第一个爬虫复制粘贴就能跑我们选择一个非常友好的练习目标httpbin.org专门给爬虫练习用的网站不会封 IP也不会变结构。# 文件名可以叫my_first_spider.pyimportrequestsfrombs4importBeautifulSoup# 1. 目标网址urlhttps://httpbin.org/html# 2. 发送请求模拟浏览器headers{User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36}try:responserequests.get(url,headersheaders,timeout10)response.raise_for_status()# 非 200 就抛异常exceptExceptionase:print(请求失败,e)exit()# 3. 把网页内容交给 BeautifulSoup 解析soupBeautifulSoup(response.text,html.parser)# 4. 提取我们想要的内容# 这个页面有一个 h1 标题 和一段正文titlesoup.find(h1).get_text(stripTrue)contentsoup.find(div,class_jumbotron).p.get_text(stripTrue)print(页面标题,title)print(主要内容)print(content)运行方式python my_first_spider.py预期输出类似页面标题Herman Melville - Moby-Dick 主要内容 .../p恭喜你已经成功完成了第一个爬虫第三步升级版 —— 爬取真实网页豆瓣图书 Top 250 前 10 本目标网址https://book.douban.com/top250importrequestsfrombs4importBeautifulSoupimporttime headers{User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36}books[]forpageinrange(0,2):# 前两页前50本初学者先爬前10本即可urlfhttps://book.douban.com/top250?start{page*25}try:responserequests.get(url,headersheaders,timeout8)response.raise_for_status()exceptExceptionase:print(f第{page1}页请求失败{e})continuesoupBeautifulSoup(response.text,html.parser)# 找到所有图书的 tr 行itemssoup.select(tr.item)foriteminitems:title_tagitem.select_one(.pl2 a)titletitle_tag.get_text(stripTrue)iftitle_tagelse未知author_tagitem.select_one(p.pl)author_infoauthor_tag.get_text(stripTrue)ifauthor_tagelserating_tagitem.select_one(.rating_nums)ratingrating_tag.get_text(stripTrue)ifrating_tagelse无评分quote_tagitem.select_one(.inq)quotequote_tag.get_text(stripTrue)ifquote_tagelsebooks.append({书名:title,作者/出版信息:author_info,评分:rating,短评:quote})print(f第{page1}页爬取完成已有{len(books)}本书)time.sleep(2)# 非常重要防止被封# 打印前 10 本print(\n前 10 本书)fori,bookinenumerate(books[:10],1):print(f{i}. 《{book[书名]}》 评分{book[评分]}{book[短评]})运行前注意第一次运行很可能成功但如果频繁运行豆瓣可能会暂时限制你的 IP。真实爬虫必须加延时time.sleep(15)。建议只跑一次保存结果不要反复运行。第四步常见问题 避坑指南初学者最容易踩的 8 个点问题现象解决方案403 Forbidden被网站拒绝加真实的 User-Agent 随机延时404 / 连接超时网络问题加 timeout10 try-except提取不到内容find / select 返回 None右键“检查元素” → 确认 class/id 正确乱码中文显示 ???response.encoding ‘utf-8’被封 IP跑几页就 403/429加代理proxies、降低频率、用 requests.Session() 保持会话动态加载数据为空切换到 Selenium浏览器自动化或找 API道德/法律爬私有/收费内容只爬公开数据遵守 robots.txt控制频率代码太乱后期维护难把请求、解析、保存拆成函数第五步下一步推荐学完第一个爬虫后保存数据→ 用 csv 或 json 存储importcsvwithopen(douban_top250.csv,w,newline,encodingutf-8)asf:writercsv.DictWriter(f,fieldnames[书名,作者/出版信息,评分,短评])writer.writeheader()writer.writerows(books)学习 XPath / CSS 选择器更精准定位掌握 requests 高级用法代理、cookies、session、重试尝试简单反爬网站如 quotes.toscrape.com进阶工具Scrapy框架级、Playwright / Selenium动态页、httpx异步一句话总结给初学者先用requests BeautifulSoup爬 12 个静态网站成功后再考虑反爬、动态页、框架。如果你运行上面代码遇到具体报错把错误信息贴出来我帮你 debug。现在就去试试吧第一个爬虫跑通的那一刻真的很爽