今日看点

Java爬虫(三)后台发请求获取页面解析数据

发表于话题:六十四卦详解通俗易懂
发布时间:2021-05-11

一 、发请求获取网页内容

1.我们将请求ascii表网址,处理数据获取表格中的具体内容 import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RestController; import java.io.*; import java.net.HttpURLConnection; import java.net.MalformedURLException; import java.net.URL; @RestController public class SendRequest { @GetMapping("/todo") public String getsource() { try { //建立连接如ascii表网址 我们获取ascii内容并解析 URL url = new URL("http://ascii.911cha.com/"); HttpURLConnection connection = (HttpURLConnection) url.openConnection(); connection.setDoInput(true); connection.setRe("GET"); // connection.setRe("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)"); InputStreamReader read = new InputStreamReader(connection.getInputStream(), "utf-8"); //为字符输入流添加缓冲 BufferedReader br = new BufferedReader(read); //读取返回结果 String data=br.readLine(); while (br.readLine() != null) { data =data+br.readLine(); } System.out.println(data); // 释放资源 br.close(); read.close(); connection.disconnect(); return data; } catch (MalformedURLException e) { e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); } return null; } }

得到数据如下

周公解梦老黄历天气预报邮编列车时刻表放假安排911查询 回首页 保存到桌面 输入待查字符   ASCII第一次以规范标准的型态发表是在1967年,最后一次更新则是在1986年,至今为止共定义了128个字符,其中33个字符无法显示(这是以现今操作系统为依归,但在DOS模式下可显示出一些诸如笑脸、扑克牌花式等8-bit符号),且这33个字符多数都已是陈废的控制字符,控制字符的用途主要是用来操控已经处理过的文字,在33个字符之外的是95个可显示的字符,包含用键盘敲下空白键所产生的空白字符也算1个可显示字符(显示为空白)。ASCII控制字符二进制十六进制可以显示的表示法0000 0000000000 0001010000 0010020000 0011030000 0100040000 0101050000 0110060000 0111070000 1000080000 1001090000 10100A0000 10110B0000 11000C0000 11010D0000 11100E0000 11110F0001 0000100001 0001110001 0010120001 0011130001 0100140001 0101150001 0110160001 0111170001 1000180001 1001190001 10101A0001 10111B0001 11001C0001 11011D0001 11101E0001 11111F0111 11117F二进制十六进制0010 0000200010 0001210010 0010220010 0011230010 0100240010 0101250010 0110260010 0111270010 1000280010 1001290010 10102A0010 10112B0010 11002C0010 11012D0010 11102E0010 11112F0011 0000300011 0001310011 0010320011 0011330011 0100340011 0101350011 0110360011 0111370011 1000380011 1001390011 10103A0011 10113B0011 11003C0011 11013D0011 11103E0011 11113F二进制十六进制0100 0000400100 0001410100 0010420100 0011430100 0100440100 0101450100 0110460100 0111470100 1000480100 1001490100 10104A0100 10114B0100 11004C0100 11014D0100 11104E0100 11114F0101 0000500101 0001510101 0010520101 0011530101 0100540101 0101550101 0110560101 0111570101 1000580101 1001590101 10105A0101 10115B0101 11005C0101 11015D0101 11105E0101 11115F 十进制图形96`97a98b99c100d101e102f103g104h105i106j107k108l109m110n111o112p113q114r115s116t117u118v119w120x121y122z123{124|125}126~ 相关链接 常备实用查询gogid="5394567419";gogw="250";gogh="250";gogid="5394567419";gogw="250";gogh="250";for(i=0;i 热门查询: 老黄历 周公解梦 周公解梦大全查询 2019放假安排 手机号码测吉凶 百家姓 | 黄道吉日 2019年5月27日黄历 2019年5月28日黄历 2019年5月29日黄历 2019年5月30日黄历 2019年6月黄道吉日 | 家常菜 鲁菜 川菜 苏菜 粤菜 闽菜 浙菜 湘菜 徽菜 沪菜 京菜 渝菜 | 天气预报 北京天气 上海天气 香港天气 广州天气 深圳天气 台北天气 澳门天气 天津天气 沈阳天气 大连天气 南京天气 苏州天气 杭州天气 武汉天气 重庆天气 成都天气 无锡天气 宁波天气 合肥天气 厦门天气 | 周公解梦大全 老黄历 天气预报查询 火车时刻表 手机号码归属地 家常菜谱大全 货币汇率查询 邮政编码查询 万年历 2019年放假安排 生男生女预测表 QQ号码吉凶 安全期计算器 观音灵签 日常生活: 手机号码归属地 邮政编码查询 机构邮政编码查询 货币汇率查询 天气预报查询 家常菜谱大全 PM2.5查询 常用电话号码 快递查询 区号查询 数字大写转换 2019年放假安排 台湾邮编查询 汽车车标大全 大学查询 人民币存款利率表 升降旗时间 国家地区查询 全国社会性组织 (共19个) 站长工具: IP地址查询 下载地址加解密工具 二维码生成器 进程查询 密码强度检测 ASCII码对照表 UNIX时间戳 (共7个) 交通出行: 火车时刻表 北京车牌尾号限行查询 实时路况查询 地铁线路图 机场三字码查询 交通违章查询 车牌号查询 中国电子地图 世界时差查询 (共9个) 休闲娱乐: 疯狂猜图答案 中华谜语大全 脑筋急转弯 绕口令大全 QQ号码吉凶 外星年龄 外星体重 竖排古文 (共8个) 民俗文化: 周公解梦大全 老黄历 百家姓大全 历史上的今天 歇后语大全 十二生肖 万年历 二十四节气表 地母经 名人名言名句大全 民间谚语 解密生日 佛学大辞典 (共13个) 学习应用: 新华字典 汉语词典 成语大全 诗词大全 在线翻译 英语单词大全 英文名 专业英汉汉英词典 百科全书 英文缩写大全 五笔字根表 笔画数查询 汉字部首查询 汉字拼音查询 区位码查询 汉字简体繁体转换 郑码编码查询 仓颉编码查询 四角号码在线查询 中文电码查询 在线编码解码 百万圆周率 摩尔斯电码 科学计算器 在线输入法 (共25个) 身体健康: 安全期计算器 药品查询 绿色食品 民间偏方大全 中草药名方大全 中草药民间验方 酒方大全 食物营养成分查询 中草药大全 中华本草 中医名词辞典 粥谱大全 (共12个) 占卜求签: 二十八星宿算命 六十四卦金钱课 观音灵签 黄大仙灵签 诸葛神算 妈祖天后灵签 关帝灵签 吕祖灵签 车公灵签 王公祖仔灵签 文王神卦 灵棋经 称骨算命 预测吉凶 指纹运势查询 生男生女预测表 姓名缘分测试 (共17个)var _hmt = _hmt || []; var hm = document.createElement("script"); var s = document.getElementsByTagName("script")[0]; })();911查询官方微信关注 ww911cha

网页内容

二 、数据解析

我们通过鼠标点击f12开发者模式左上角大概确定了元素的位置,如,那么我们就可以通过正则表达式解析这张表的内容了。

具体操作如下:

1.截取出这部分代码 Pattern pattern = Pattern.compile("(.*?)(?.*?)"); Matcher matcher = pattern.matcher(date); while (matcher.find()){ String dates = matcher.group("dates"); System.out.println(dates); }

通过这段代码解析后我们得到如下核心数据

0000 0000000000 0001010000 0010020000 0011030000 0100040000 0101050000 0110060000 0111070000 1000080000 1001090000 10100A0000 10110B0000 11000C0000 11010D0000 11100E0000 11110F0001 0000100001 0001110001 0010120001 0011130001 0100140001 0101150001 0110160001 0111170001 1000180001 1001190001 10101A0001 10111B0001 11001C0001 11011D0001 11101E0001 11111F0111 11117F二进制十六进制0010 0000200010 0001210010 0010220010 0011230010 0100240010 0101250010 0110260010 0111270010 1000280010 1001290010 10102A0010 10112B0010 11002C0010 11012D0010 11102E0010 11112F

标签组:[大数据] [url

本文来源:https://www.kandian5.com/articles/11760.html

相关阅读

为什么慈禧吃了羊下水厨师被满门抄斩

吃穿住行中,吃被排在首位,这或许也验证了中国人以食为天的民族特点。虽然中国开发出了各种食物的吃法,各地形成了各种菜系,可是,在落后的时代,能够满口腹之欲的,大多却是那些手握权力财富的少部分人。在满清末...

2025-09-15

贾姬在厕所与野猪相遇为什么没人敢救她

汉景帝妃子上厕所遭遇野猪,侍卫抗旨不救,太后为何赏大臣百金!。提起来有点荒诞,却是史上真实发生过的事件。上厕所与野猪遭遇的女子就是汉景帝的嫔妃贾姬,翻开史料:这个贾姫大有来头,她是中山靖王刘胜的生母,...

2025-09-15

清朝灭亡后那些深宫里的女人去哪了

1908年11月14日,在位长达34年但年仅38岁的光绪皇帝就英年早逝了,一天以后,统治中国近半个世纪的慈禧老佛爷也撒手人寰,半个月之后,年仅2岁多的溥仪继位,这就是末代皇帝宣统帝!溥仪登基后,尊光绪...

2025-09-15

秦宜禄的妻子杜氏为什么会被吕布和曹操霸占呢

自古以来,有人爱江山却更爱美人,也有人只要江山而舍弃美人的,然而毕竟英雄难过美人关。想当年吴三桂那貌美如花的妻子陈圆圆居然被李自成的手下刘宗敏给抢了去,他一气之下居然投降清军,把多尔衮给引进关中了。这...

2025-09-15

王献之很爱自己的妻子为何最后还是被逼离婚了

一直以来,很多人都认为,古代男子肯定都很想娶公主,毕竟当皇帝的女婿,一下可以少奋斗几十年,甚至都不用奋斗了。但实际并不是如此,古代男子几乎是不愿娶公主的,不仅唐朝如此,很多朝代都这样。而今天的主人公也...

2025-09-15

秀才为什么因为一只鸭子被推上刑场

老一辈的人常说,忍一时风平浪静,退一步海阔天空。这句话说的其实就是让人在遇到事情的时候要冷静,不要因为一时冲动而做出让人后悔莫及的事情来。在清代学者俞樾所著的《右台仙馆笔记》里,讲了这么一个故事。说是...

2025-09-15

伍子胥逃亡的过程中真的一夜愁白了头吗

公元前522年,楚国国君听信费无忌的谗言,将伍子胥的父亲伍奢杀害,派人去杀伍子胥。伍子胥得到消息后连忙逃亡吴国。伍子胥的逃亡路线,从楚国到吴国必须要经过韶关,韶关位于吴楚交界之地,向来有重兵把守,而此...

2025-09-15

古代皇帝吃剩下的饭菜怎么办

古代皇帝吃饭动不动就是数十盘菜,皇帝一般都是吃几口就换,皇帝吃饭剩下的食物一般如何处理?中国曾经历了数千年的封建王朝,只不过每一个朝代都诞生了独特的文明,甚至有很多人事物都成为了时代的象征,由于中国古...

2025-09-15

古代殉葬妃子临死前经历了什么

在古代,帝王逝去之后,宫内会特别注重操办丧事。选择合适的地方将其安葬,还有不少嫔妃进行陪葬。这种方式让人觉得难以接受。殉葬制度原本起源在商代,当时的奴隶主在自己死去之后,就要把自己的私有财产带走,这其...

2025-09-15

同治帝十九岁时病死他的后妃怎么处理

1875年1月12日黄昏时分,十几位王公重臣接到诏命,匆匆入宫,来到养心殿西暖阁候旨。原来清朝的第十位皇帝爱新觉罗·载淳,即同治帝,已经走到了人生的尽头。当晚酉时(17~19时),同治皇帝咽下最后一气...

2025-09-15