HTMLをスクレイピング(scraping)してあれこれとするとき、僕はずっと正規表現に頼っていたのですが、 ページの構造が変化するとすぐに使えなくなってしまうし、時間がかかる割りに退屈な作業なので何とかならないかなと思っていました。
PHPで探していたのですが、XML(とかRSS)をパースする関数やライブラリは、良く目にするものの、HTMLを処理できるものはなかなか見つかりませんでした。以下は、PHP(とかRuby、Perl)でHTMLをスクレイピングしたりパースするための方法。(追記 2007/5/21)。
HTMLを、整形式のXMLに変換してくれるライブラリ。PEARのXML_HTMLSax3が同梱されているので、これだけでちゃんと動きます。いんちきなHTMLとか、XHTMLが整形式のXMLになるので、後は通常のXMLと同じように処理できる。
動作は、サンプルの「sample.php」ですぐに確認可。「$target = ～」で対象ファイルと、文字コードを指定し、「$output_xml = true;」でXMLファイルになる。とても便利！
rhaco.org(らこ。PHPのWebアプリケーションフレームワーク)のSimpleTagを使うとPHPでHTMLを簡単にparseできる。使い方もシンプルです。(参考：[rhaco]SimpleTag
rhacoは、本当にいろんなことができるっぽい。ただ、ドキュメントが見当たらない？みたいなのでなかなか内容が掴めない。 テンプレートtemplate(rhaco)エンジンとかも使える。
スヌーピーはウェブブラウザをシミュレートするPHPのクラス。リンク(aタグ)を抜き出したり、submitして、getしたりできる。 そういえば、前に使ったMagpie RSSも中でSnoopyを使っているみたい。
PHP以外の他の言語の方が、この手のスクレイピング、パース(parse)周りは豊富かもしれない。 僕は、PHP以外、ほとんど使えないのですが一応メモ。
「WWW::Mechanizeとか」、 「htree」、「Hpricot」とかいろいろある。 サーバーにはRubyもインストールされているようなので、初めてだけど、 VikiWiki - htreeを参考に、 "htree"あたりを使ってみたらちゃんと動いた。
こういうのをみると、Rubyもいいなって思う。
WWW::MechanizeはRubyとかに移植されているが、元は Perlで書かれていたものだったらしい。
他にも、PerlにはWeb::Scraperというモジュールがあるようです(追記 2007/5/21)。これは使いやすそうですね。
Spidering hacks―ウェブ情報ラクラク取得テクニック101選
Perl中心だけど、かなりおもしろい。Hack#84にPHPのサンプルコードも一応ある。紹介されているコードが日本のサイトに合わせてあったり(国立国会図書館、Yahoo!JAPANのサイトなど)、日本語処理にかんするパートもちゃんと載っている。ページ数500ぐらいでちょっと厚めかな。
更新2007/7/10 PHPその他のリンクに追加
|
コメント (0) |
トラックバック (0) |
Web
と メモ・覚え書き
|
1.
|
|
2.
|
|
3.
|
|
4.
|
|
5.
|
|
6.
|
|
7.
|
ブランド:エス・ピー・エス・エス 。レーベル:エス・ピー・エス・エス 。製造:エス・ピー・エス・エス 。出版:エス・ピー・エス・エス 。発売:エス・ピー・エス・エス。
すばらしい。 データマイニングを”R"言語で実行するという本。
前のほうの章で書いてあるデータマイニングの総合解説が非常にわかりやすい。
”R”言語で応用するところも、対話形...
”古典的”多変量データ解析から学べます Rに関する書籍を連続して3冊読んだ2冊目です。
数十年前に学生をしていたときには、せっかく理論的なことを理解しても実計算の膨大な手間を前にすると尻込みしてしまう...
数式を使わずに概観できるが、説例に好みが分かれるかも 題名の通りに本格的な数式は登場せず、厳密さを犠牲にしても分かりやすさにこだわってデータマイニングの何たるかを豊富な例により説明しています。データマイニングとは何...
とても実用性の高いデータマイニング手法取扱説明書 「集合知」というキーワードに興味があったので読んでみました。読み応えのある本です。
集合知に限らず、データマイニング関連の最初の一冊としても良いかもしれません。...
このエントリーのトラックバックURL: