perlでHTML5を解析して情報を抽出するコード（HTML::TagParser版）

cpanm HTML::TagParser

Can't locate HTML/TagParser.pm in @INC (@INC contains: /etc/perl /usr/local/lib/perl/5.14.2 /usr/local/share/perl/5.14.2 /usr/lib/perl5 /usr/share/perl5 /usr/lib/perl/5.14 /usr/share/perl/5.14 /usr/local/lib/site_perl .) at parse.pl line 9.
BEGIN failed--compilation aborted at parse.pl line 9.

<div class="odd">
          
<article id="post-1702" class="post-1702 post type-post status-publish format-standard category-programming">
  
  <header class="entry-header">
    <h2 class="entry-title"><a href="https://www.virment.com/programming/1702/" title="Permalink to perlでHTMLを解析して欲しい情報を抽出するためのコードをメモ" rel="bookmark">perlでHTMLを解析して欲しい情報を抽出するためのコードをメモ</a></h2>
    <div id="postdate">Date : 2014/01/21   Category : <a href="https://www.virment.com/category/programming/" title="programming の投稿をすべて表示" rel="tag">programming</a></div> 
  </header><!-- .entry-header -->

    
    <div class="entry-content post-content">

                <div class="imgthumb"><a href="https://www.virment.com/programming/1702/" rel="bookmark" title="perlでHTMLを解析して欲しい情報を抽出するためのコードをメモ"><img width="200" height="92" src="https://www.virment.com/wp-content/uploads/2014/01/virment_html_mod-300x139.png" class="attachment-200x175 wp-post-image" alt="virment_html_mod" /></a></div>       
      
            <div id="ainseo">HTMLを解析して特定のタグに囲まれている情報だけを抽出したり、リンクだけを抽出したりするコードを色々調べてperlで作成してみたのでメモしておきます。いわゆるスクレイピングするためのコードです。このコードでは、perlのHTML::TreeBuilderを使いました。</div>
    
      
      
      <div><a href="https://www.virment.com/programming/1702/" class="more-link">続きを読む</a></div>
      </div><!-- .entry-content -->
  
</article><!-- #post-1702 -->
          </div>
                  <div class="even">
          
<article id="post-1653" class="post-1653 post type-post status-publish format-standard category-virtualbox">
  
  <header class="entry-header">
    <h2 class="entry-title"><a href="https://www.virment.com/mac/virtualbox/1653/" title="Permalink to VirtualBoxにおける仮想マシンの仮想ディスク容量を拡張するための手順" rel="bookmark">VirtualBoxにおける仮想マシンの仮想ディスク容量を拡張するための手順</a></h2>
    <div id="postdate">Date : 2014/01/16   Category : <a href="https://www.virment.com/category/mac/virtualbox/" title="VirtualBox の投稿をすべて表示" rel="tag">VirtualBox</a></div> 
  </header><!-- .entry-header -->

    
    <div class="entry-content post-content">

                <div class="imgthumb"><a href="https://www.virment.com/mac/virtualbox/1653/" rel="bookmark" title="VirtualBoxにおける仮想マシンの仮想ディスク容量を拡張するための手順"><img width="200" height="169" src="https://www.virment.com/wp-content/uploads/2014/01/first_disp_mod-300x254.png" class="attachment-200x175 wp-post-image" alt="first_disp_mod" /></a></div>       
      
            <div id="ainseo">VirtualBoxでは、仮想マシン作成時に仮想ディスク容量を決めますが、仮想マシンを使用していると仮想ディスクの容量が不足してくることがあると思います。ここでは、このような場合に仮想マシンの仮想ディスク容量を拡張して増やすための手順をメモします。</div>
    
      
      
      <div><a href="https://www.virment.com/mac/virtualbox/1653/" class="more-link">続きを読む</a></div>
      </div><!-- .entry-content -->
  
</article><!-- #post-1653 -->
          </div>
                  <div class="odd">
          
<article id="post-1622" class="post-1622 post type-post status-publish format-standard category-linux">
  
  <header class="entry-header">
    <h2 class="entry-title"><a href="https://www.virment.com/linux/1622/" title="Permalink to Linux Mint 16で日本語入力環境を整えるまでの手順" rel="bookmark">Linux Mint 16で日本語入力環境を整えるまでの手順</a></h2>
    <div id="postdate">Date : 2014/01/15   Category : <a href="https://www.virment.com/category/linux/" title="Linux の投稿をすべて表示" rel="tag">Linux</a></div> 
  </header><!-- .entry-header -->

    
    <div class="entry-content post-content">

                <div class="imgthumb"><a href="https://www.virment.com/linux/1622/" rel="bookmark" title="Linux Mint 16で日本語入力環境を整えるまでの手順"><img width="176" height="175" src="https://www.virment.com/wp-content/uploads/2014/01/menu1_mod-300x297.png" class="attachment-200x175 wp-post-image" alt="menu1_mod" /></a></div>       
      
            <div id="ainseo">最近、Linux Mintというディストリビューションに興味を持ち、言語を英語に設定してインストールしました。ただ、日本語入力ができなかったので、日本語入力環境を整える必要がありました。ここに日本語入力できるようにするまでの手順をメモしておきます。</div>
    
      
      
      <div><a href="https://www.virment.com/linux/1622/" class="more-link">続きを読む</a></div>
      </div><!-- .entry-content -->
  
</article><!-- #post-1622 -->
          </div>

use strict;
use warnings;
use HTML::TagParser;

# HTML::TagParserのオブジェクト作成
my $html = HTML::TagParser->new( "virtualiment_new.html" );

# オブジェクトの中から、~の間を取得
my @elem = $html->getElementsByTagName( "article" );

my $subhtml;
my $title;
my @tmp;
my $date;
my $date_tmp;
my $desc;
my $url;
my @id;

foreach my $tmp (@elem){

      # 取得した~の間部分の木構造オブジェクトを作成
   $subhtml = $tmp->subTree();

         # id要素の値が「postdate」である部分のテキストを取得（「Date : 2014/01/21   Category : 」が該当）
   $date_tmp = $subhtml->getElementById( "postdate" )->innerText();

         # $date_tmpの中の日付「年／月／日」を取得
   @tmp = grep{/(\d+)\/(\d+)\/(\d+)/}(split( /\s/, $date_tmp));
   $date = $tmp[0];

         # タグ名が「a」である部分のリンクを取得
   $url =  $subhtml->getElementsByTagName("a")->attributes->{href};

         # $urlの中の数字のうち３桁以上４桁以下の数字を取得
   @id = grep{/\d{3,4}/}(split( /\D+/, $url));

         # class要素の値が「entry-title」である部分のテキストを取得
   $title = $subhtml->getElementsByClassName("entry-title")->innerText();

         # id要素の値が「ainseo」である部分のテキストを取得
   $desc = $subhtml->getElementById( "ainseo" )->innerText();
   
    print "date is ".$date."\n";
    print "url is ".$url."\n";
    print "ID is ".$id[0]."\n";
    print "title is ".$title."\n";
    print "description is ".$desc."\n\n";

}

$url =  $subhtml->getElementsByTagName("a")->attributes->{href};

date is 2014/01/21
url is https://www.virment.com/programming/1702/
ID is 1702
title is perlでHTMLを解析して欲しい情報を抽出するためのコードをメモ
description is HTMLを解析して特定のタグに囲まれている情報だけを抽出したり、リンクだけを抽出したりするコードを色々調べてperlで作成してみたのでメモしておきます。いわゆるスクレイピングするためのコードです。このコードでは、perlのHTML::TreeBuilderを使いました。

date is 2014/01/16
url is https://www.virment.com/mac/virtualbox/1653/
ID is 1653
title is VirtualBoxにおける仮想マシンの仮想ディスク容量を拡張するための手順
description is VirtualBoxでは、仮想マシン作成時に仮想ディスク容量を決めますが、仮想マシンを使用していると仮想ディスクの容量が不足してくることがあると思います。ここでは、このような場合に仮想マシンの仮想ディスク容量を拡張して増やすための手順をメモします。

date is 2014/01/15
url is https://www.virment.com/linux/1622/
ID is 1622
title is Linux Mint 16で日本語入力環境を整えるまでの手順
description is 最近、Linux Mintというディストリビューションに興味を持ち、言語を英語に設定してインストールしました。ただ、日本語入力ができなかったので、日本語入力環境を整える必要がありました。ここに日本語入力できるようにするまでの手順をメモしておきます。

my $siteurl  = 'https://virment.com';
my $html = HTML::TagParser->new( $siteurl);