java htmlparser 获取网页title

一直以来，编程始终是我的爱好。也使用python写了几个实用的工具。java的高性能是出了名的，作为SEO人员，如果能够从零开始实现一个搜索引擎，对以后的SEO工作肯定有很大的帮助。搜索引擎爬虫要收录一个网页，首先不就是获取网页内容来进行处理的嘛。

package htmlparserTest;
// 下载 htmlparser库并导入
import org.htmlparser.Parser;
import org.htmlparser.visitors.HtmlPage;
public class GetTitle {
    public static void main(String[] args) throws Exception {
        new GetTitle().getTitle("https://www.yangshengliang.com");
    }
private void getTitle(String url) throws Exception
{
    Parser parser = new Parser(url);
    //编码
    parser.setEncoding(parser.getEncoding());
    // 获取页面
    HtmlPage htmlpage = new HtmlPage(parser);
    parser.visitAllNodesWith(htmlpage);
    // 获取 title
    String title = htmlpage.getTitle();
    // 输出title
    System.out.println(title);
    }
}

程序经测试是没有问题的，使用的环境是java8，其他版本的java 下未做测试。

Java爬虫

发表回复 取消回复

您的邮箱地址不会被公开。 必填项已用 * 标注

*

*

验证码*  +  29  =  33