にしし ふぁくとりー:西村文宏 個人サイト

No.3218 - 今日のひとことログ

更新

■LOG No.3218

にししふぁくとりーHOMEに掲載している「今日のひとこと」の過去ログ(掲載履歴)です。 RSS

No.3218 〔399文字〕 📋

Googlebotのクロール頻度を下げる方法は、Googleによる解説がある。Google側がクロール頻度(最大頻度)を指定できる設定ページを用意しているが、90日間しか有効ではなく、90日後には自動判断に戻ってしまう。何より、今回クロール頻度を調整したいのは、外部WebサービスのAPIリクエスト権に上限があることが原因なので、「APIを利用せずに出力できるページのアクセスを制限する必要はない」という点があるのでクロール頻度(の上限)そのものを指定する方法はあまり適切ではない。Googleの解説にはもう1つ「緊急クロールの制限」として、「負荷の増大を動的に検出して対応できるならHTTP 429を返せ」と書かれていたので、今回はその方法を採用した。API利用権の残数が少なくなってきたときに、APIを利用しないと出力できないページにアクセスされた場合にだけ、429を返すようにPHPを書いた。
2020年12月
12345
6789101112
13141516171819
20212223242526
2728293031
2021年1月
12
3456789
10111213141516
17181920212223
24252627282930
31
2021年2月
123456
78910111213
14151617181920
21222324252627
28

Powered by てがろぐ Ver 3.4.4

--- 当サイト内を検索 ---