WordPressを母体としたPHPスクレイピングプログラムを公開! ITかあさん

ITかあさん

WordPressを母体としたPHPスクレイピングプログラムを公開!


子供達!母さんついにPHPスクレイピングプログラムを公開したよ!

ブログをしばらく更新をお休みして9/2の勉強会での発表に向けた準備を進めていました。

WordPressを母体としたPHPのスクレイピングプログラムを作れないものか、しかも管理画面付で誰でも楽しく!

そんなことが出来ないものかと試行錯誤して 作りましたよ!

こんだけ大掛かりなもの作って、未だ名前が決まっていません・・

これから使い方ガイドなどの記事を書いたり、活用方法をブログで公開していきます。
ベースはCakePHPで管理画面は作成しました。

URLを複数登録できるので、スクレイピングは一つのサイトからではなく、複数のサイトを組み合わせた自分だけのオリジナルのまとめサイトが作成可能です。

ちょっとしたポイント

スクレイピングデータをWordPressの記事として登録できるのはもちろんのこと、
さらに個別のデータにも対応できるよう管理画面からカスタムフィールドの登録も出来るようになっています。
なので、かなり自由度が高くスクレイピングサイトを作成できるようにしました。

スクレイピング可能なもの

原則 カテゴリーがあって、その下層に詳細ページがあるようなものはだいたい引き抜くことが出来ます。
現在画像のスクレイピングまでは対応していませんが、今後対応を考えています。

使用上の注意とお願い

重複してしまいますが、以下のことはしないようにお願いします

・このプログラムの再配布
・スクレイピングプログラムで著作権の侵害行為

スクレイピングするというこは 2次利用になるわけで、著作元に利用の確認を取る、取ることが出来ない場合は個人で楽しむ程度にして外部には公開しないなどの配慮をして下さい。

またこのプログラムを利用して発生した問題はITかあさんはいかなる責任は負いかねます。
(スクレイピングプログラムを実行したら ブログデータが壊れた!スクレイピングで著作権侵害で訴えられた など)

ルールとモラルを守って、楽しくサイトを作ってください!

ダウンロードはこちら