java htmlparser 获取网页title

作者: 杨圣亮 分类: Java编程 发布时间: 2016-09-25 15:01:41

一直以来,编程始终是我的爱好。也使用python写了几个实用的工具。java的高性能是出了名的,作为SEO人员,如果能够从零开始实现一个搜索引擎,对以后的SEO工作肯定有很大的帮助。搜索引擎爬虫要收录一个网页,首先不就是获取网页内容来进行处理的嘛。

package htmlparserTest;
// 下载 htmlparser库并导入
import org.htmlparser.Parser;
import org.htmlparser.visitors.HtmlPage;
public class GetTitle {
    public static void main(String[] args) throws Exception {
        new GetTitle().getTitle("https://www.yangshengliang.com");
    }
private void getTitle(String url) throws Exception
{
    Parser parser = new Parser(url);
    //编码
    parser.setEncoding(parser.getEncoding());
    // 获取页面
    HtmlPage htmlpage = new HtmlPage(parser);
    parser.visitAllNodesWith(htmlpage);
    // 获取 title
    String title = htmlpage.getTitle();
    // 输出title
    System.out.println(title);
    }
}

程序经测试是没有问题的,使用的环境是java8,其他版本的java 下未做测试。

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

42  −    =  33

微信