ほろ酔い開発日誌

有意義な技術的Tipsを共有出来たら嬉しいです。Ruby、Railsが好きです。Web開発全般(Rails多め、フロント、サーバー、インフラ)、データ分析、機械学習あたりの記事が中心になる予定です。

Ruby HTMLとXMLをスクレイピング

HTMLとXMLをRubyのgem「Mechanize」を使ってスクレイピングを行う手法を簡単にまとめておきます。 まず、 gem 'mechanize' これでgemの準備done。 HTMLスクレイピング agent = Mechanize.new page = agent.get("http://hoge.com") # スクレイピングしたいペ…

Ruby URL文字列を扱う方法

最近スクレイピングでURLを取得してきたのですが、絶対パスになっていたり相対パスになっていたり統一感がなくて困ったのでちょっとURLを変更してみようと思います。 相対パスを絶対パスに変える news_path = "http://hoge.com/news/" entry_path = "/entry/…