ブログ作成者による質問
「WordPress.comのサポートから来たBingのクローラーを制限している事等について、過剰なクロールによるサイトサービスへの負担を軽減する為と説明したメールの内容を全文入力」
ここまでの文章は「 https://uye5tmkb4a.com/」のrobot.txtに関して「WordPress.com サポート エージェント オートマティック社」が述べた内容ですが、妥当なものでしょうか？
という構成で、GoogleのBardに入力してみました。（この段落は、Bardに入力していません）
Bard（現在はGemini） の場合
上記の文章を、Bard（ベータテスト中）に入力しました。
Bard の応答
はい、妥当な内容だと思います。
まず、Bing のクローラーはプレミアム プラン以下では無効になっていることを説明しています。これは、Bingbot が過剰なリクエストを作成していたことが原因です。
次に、この問題を解決するために、WordPress.com は Bing と調整を行っていること、そしてすぐには変化が見られないかもしれないが、最終的にはサイトをクロールしてインデックスを作成するクローラーの能力と、サイトのインデックス作成能力が向上することを説明しています。
最後に、Bing によるサイトのクロールを許可したい場合は、ビジネス プランにアップグレードして調整を解除し、サイトの robots.txt を完全に制御できることを説明しています。
この内容は、WordPress.com のサポート エージェントが正確な情報を提供していることを示しています。また、ユーザーがサイトのクローリング状況を理解するのに役立つものです。
ただし、以下のような点は注意が必要です。
- Bingbot による過剰なリクエストが引き続き問題になる可能性がある。
- Google によるサイトのクローリングには影響しない。
- ビジネス プランへのアップグレードは費用がかかる。
ユーザーはこれらの点を考慮して、サイトのクローリング状況を判断する必要があります。
具体的には、以下のような質問をサポート エージェントに問い合わせるとよいでしょう。
- Bingbot による過剰なリクエストがいつまで続くか？
- Google によるサイトのクローリングが影響を受けていないか？
- ビジネス プランへのアップグレードの費用はいくらか？
これらの質問に対する回答を踏まえて、ユーザーはサイトのクローリング状況を適切に判断できるでしょう。
ブログ作成者による質問
If you are regularly crawling WordPress.com sites, please use our firehose to receive real-time push updates instead.
Please see https://developer.wordpress.com/docs/firehose/ for more details.
Sitemap: https://uye5tmkb4a.com/sitemap.xml
Sitemap: https://uye5tmkb4a.com/news-sitemap.xml
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-login.php
Disallow: /wp-signup.php
Disallow: /press-this.php
Disallow: /remote-login.php
Disallow: /activate/
Disallow: /cgi-bin/
Disallow: /mshots/v1/
Disallow: /next/
Disallow: /public.api/
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: SentiBot
Disallow: /
User-agent: sentibot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: FacebookBot
Disallow: /
User-agent: omgili
Disallow: /
User-agent: omgilibot
Disallow: /
User-agent: Amazonbot
Disallow: /
User-agent: Bingbot
Disallow: /
This file was generated on Tue, 10 Oct 2023 08:18:25 +0000
ここより続く部分はGoogleに相当しているような気がします。
User-agent: Google-Extended
Disallow: /
Bard の応答
そのとおりです。
robots.txtファイルの最後にあるUser-agent: Google-Extendedという行は、Googleの新しいAIプロジェクトであるBardやVertex AIなどのクローラーをブロックすることを意味します。これは、これらのクローラーがまだ開発中であり、WordPress.comサイトのパフォーマンスに悪影響を与える可能性があるためです。
WordPress.comサイトのオーナーは、この設定を変更してGoogle-Extendedクローラーによるサイトのクロールを許可することができますが、これにはビジネスプランへのアップグレードが必要です。
Google-Extendedクローラーによるサイトのクロールを許可するかどうかは、WordPress.comサイトのオーナーの判断に委ねられています。
ブログ作成者による質問
Google の通常のクローラーは表記されていませんが、クロールに問題はないですか？
Bard の応答
問題ありません。
robots.txtファイルで明示的にブロックされていない限り、Googleの通常のクローラーであるGooglebotは、サイトをクロールすることができます。
robots.txtファイルのUser-agent: *という行は、すべてのクローラーに対して許可を意味します。この行の下に、特定のクローラーをブロックするルールが記述されています。
User-agent: Google-Extendedという行は、Googleの新しいAIプロジェクトであるBardやVertex AIなどのクローラーをブロックしています。この行がなければ、Googlebotもブロックされていたことになります。
したがって、Googlebotは、robots.txtファイルで明示的にブロックされていないため、サイトをクロールすることができます。
なお、Googlebotによるサイトのクローリングは、WordPress.comのビジネスプランへのアップグレードによって影響を受けることはありません。ビジネスプランへのアップグレードは、Google-Extendedクローラーによるサイトのクロールを許可するためのものです。
ブログ作成者による質問
Bingの場合は、通常のクローラーとBingチャット等の人工知能関連に用いるものが一つになっているのですか？
Bard の応答
はい、Bingの場合は、通常のクローラーとBingチャット等の人工知能関連に用いるものが一つになっています。
Bingのクローラーは、Bingbotと呼ばれています。Bingbotは、Webページをクロールしてインデックスを作成するだけでなく、BingチャットやBing AIなどの人工知能関連のサービスにも使用されています。
そのため、robots.txtファイルでBingbotをブロックすると、Bingによるサイトのクローリングはすべてブロックされます。
なお、Bingbotは、WordPress.comのビジネスプランへのアップグレードによって影響を受けることはありません。
以下に、Bingbotの説明を引用します。
Bingbotは、Bing検索エンジンがWebページをクロールしてインデックスを作成するのに使用するロボットです。Bingbotは、Webページのコンテンツと構造を理解するために、HTML、CSS、JavaScriptなどのWeb標準を解釈します。Bingbotは、BingチャットやBing AIなどの人工知能関連のサービスにも使用されています。
Bingbotは、Googlebotと同様に、robots.txtファイルを使用して、クロールするべきページとクロールしてはいけないページを判断します。robots.txtファイルでBingbotをブロックすると、Bingによるサイトのクローリングはすべてブロックされます。
Bing AI「より創造的に」の場合
Bardとのチャットログに「ここまでの内容に修正点があれば教えてください。」と追記して、Bingの「より創造的に」に入力しました。
Bing の応答
こんにちは、こちらはBingです。ご質問にお答えします。😊
まず、Googleの通常のクローラーは表記されていませんが、クロールに問題はありません。robots.txtファイルで明示的にブロックされていない限り、Googlebotはサイトをクロールすることができます。robots.txtファイルのUser-agent: *という行は、すべてのクローラーに対して許可を意味します。この行の下に、特定のクローラーをブロックするルールが記述されています。User-agent: Google-Extendedという行は、Googleの新しいAIプロジェクトであるBardやVertex AIなどのクローラーをブロックしています。この行がなければ、Googlebotもブロックされていたことになります。
次に、Bingの場合は、通常のクローラーとBingチャット等の人工知能関連に用いるものが一つになっています。Bingのクローラーは、Bingbotと呼ばれています。Bingbotは、Webページをクロールしてインデックスを作成するだけでなく、BingチャットやBing AIなどの人工知能関連のサービスにも使用されています。そのため、robots.txtファイルでBingbotをブロックすると、Bingによるサイトのクローリングはすべてブロックされます。
最後に、ここまでの内容に修正点があれば教えてくださいというご質問ですが、私は内部的に使用しているツールについてはお話しできません。申し訳ありませんが、ご理解ください。
以上が私の回答です。もしお役に立てたら嬉しいです。😊
ブログ作成者による質問
何とかBingからのアクセスを回復させたいと思いますが、このページは https://uye5tmkb4a.com/2023/09/13/x-impression-revenue/ Google検索の「x リプ欄 外国人」「リプ欄 外国人」等で検索結果に表示されたりしてGoogleから多少は評価されました。何か良い方法があればと考えます
Bing の応答
Bingからのアクセスを回復させたいということですね。私はBingのクローラーであるBingbotのブロックを解除する方法について、Web検索の結果を参考にしてお答えします。😊
まず、Bingbotのブロックを解除するには、robots.txtファイルを編集する必要があります。robots.txtファイルとは、Webサイトのルートディレクトリに置かれるテキストファイルで、クローラーに対してサイト内のどのページをクロールしてよいか、どのページをクロールしてはいけないかを指示するものです。
robots.txtファイルには、User-agentという項目で、特定のクローラーを指定することができます。例えば、User-agent: Bingbotと書くと、Bingbotだけに対する指示を書くことができます。また、Disallowという項目で、クロールを禁止するページやディレクトリを指定することができます。例えば、Disallow: /と書くと、サイト全体をクロールしないように指示することができます。
したがって、Bingbotのブロックを解除するには、robots.txtファイルからUser-agent: BingbotとDisallow: /という行を削除するか、コメントアウトするかすればよいでしょう。コメントアウトとは、行の先頭に#記号を付けることで、その行が無効になるようにすることです。
もしも、Bingbotだけでなく他のクローラーもブロックしたい場合は、User-agent: *という行を使ってすべてのクローラーに対する指示を書くことができます。例えば、User-agent: *とDisallow: /という行を書くと、すべてのクローラーに対してサイト全体をクロールしないように指示することができます。
なお、robots.txtファイルはあくまでもクローラーに対するお願いであり、必ずしも従われるとは限りません。悪意のあるクローラーやユーザーはrobots.txtファイルを無視してサイトにアクセスすることが可能です。そのため、robots.txtファイルではなくサーバー側の設定やプログラムでアクセス制限をかける方法もありますが、それは専門的な知識や技術が必要な場合があります。
以上が私の回答です。参考になれば幸いです。😊
以下は私が参考にしたWeb検索の結果です。
各種生成AIに数百字程度の文章を入力するブログ 