にしし ふぁくとりー:西村文宏 個人サイト

No.984 - 今日のひとことログ

更新

■LOG No.984

にししふぁくとりーHOMEに掲載している「今日のひとこと」の過去ログ(掲載履歴)です。 RSS

No.984 〔659文字〕

ググってみたところ、APIのリクエスト数上限に達した後は、Too Many Requestというエラーしか返ってこなくなるらしい。しかし、このエラーが返ってきた回数もリクエスト回数としてカウントされるっぽいようなことが書いてあって少々不安になった。「1日あたり8,640回」という制限が例えば『毎日午前0時にリセットされる』というような規則なら良いのだけど、『直前の24時間で8,640回を超えていたら拒否する』みたいなのだと、大量にリクエストを送り続けていると、いつまで経ってもデータが得られないことになりそうな気もした。検索エンジンのクローラーが6秒に1回くらいの割合でアクセスしてくるので、ユーザエージェント名でクローラーを決め打ちにして3回に2回の割合で「503 Service Temporarily Unavailable」エラーを返すようにしてみた。503なら、そのクロールが失敗してもクロールリストから削除されることはないだろうし。これで、6秒に1回アクセスがあっても、実際にリクエストを返すのは18秒に1回くらいになってくれる(はず)。ただ、自前サーバ内にキャッシュが存在する場合には拒否しないようにしたので、キャッシュが蓄積されてくれば、503を返す頻度は下がるハズだ。今日の午前4時頃から今までで6,000回くらいリクエストしているので、もっと頻度を下げておく方が安全かな……。別にクローラーに急いでクロールしてもらう必要は全然ないので、10回に9回は拒否するくらいにしてみた方が良いだろうか。📗
Powered by てがろぐ Ver 2.5.1

--- 当サイト内を検索 ---