问题内容
我正在尝试抓取一个网站。我尝试过使用两种方法，但两种方法都没有为我提供我正在寻找的完整网站源代码。我正在尝试从下面提供的网站 url 中抓取新闻标题。
网址：“https://www.todayonline.com/”
这是我尝试过但失败的两种方法。
方法一：美汤
tdy_url = "https://www.todayonline.com/"page = requests.get(tdy_url).textsoup = beautifulsoup(page)soup # returns me a html with javascript textsoup.find_all('h3')### returns me empty list []
登录后复制
方法2：selenium + beautifulsoup
tdy_url = "https://www.todayonline.com/"options = Options()options.headless = Truedriver = webdriver.Chrome("chromedriver",options=options)driver.get(tdy_url)time.sleep(10)html = driver.page_sourcesoup = BeautifulSoup(html)soup.find_all('h3')### Returns me only less than 1/4 of the 'h3' tags found in the original page source
登录后复制
请帮忙。我尝试过抓取其他新闻网站，这要容易得多。谢谢。
立即学习“Java免费学习笔记（深入）”；
正确答案
您可以通过 api 访问数据（查看“网络”选项卡）：
例如，
import requestsurl = "https://www.todayonline.com/api/v3/news_feed/7"data = requests.get(url).json()
登录后复制
以上就是如何用 Python 抓取 javascript 网站？的详细内容，更多请关注【创想鸟】其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至253000106@qq.com举报，一经查实，本站将立刻删除。
发布者：PHP中文网，转转请注明出处：https://www.chuangxiangniao.com/p/2530725.html
