GotoAI General Botについて

最終更新日:2026年11月8日

gotoai-general-bot は、GotoAI Inc.(以下「GotoAI」)が運用するウェブクローラーです。官公庁の公表資料や裁判例など、一般に公開されている情報を収集します。収集にあたっては、各サイトの robots.txt および利用規約を遵守します。

 GotoAI は、収集したデータを研究、ならびに自社の製品・サービス向けの検索用データセットの構築に利用します。

クローラーの識別方法

 本クローラーは、次の User-Agent を送信します。

gotoai-general-bot/0.1 (+https://gotoai.com/en/references-en/gotoai-general-bot-en/)
  • robots.txt で指定するトークンは gotoai-general-bot です。
  • / 以降のバージョン番号はクローラーの更新に伴い変わりますが、トークンは変わりません。
  • User-Agent は第三者でも名乗ることができます。この名前を使ったアクセスが本ページの記載と異なる動作をしている場合は、お問い合わせください。

クロールポリシー

  • robots.txt の遵守:サイトのクロール前に robots.txt を読み込み、すべての URL がアクセス可能かを確認します。Crawl-delay にも従います。
  • 公開ページのみ:ログイン、有料コンテンツの回避、CAPTCHA の突破、フォームの送信は行いません。
  • 低速・逐次アクセス:リクエストは一度に1件ずつ送信します。ほとんどのサイトでは、GotoAI General Bot のアクセス頻度は平均して数秒に1回以下です。Crawl-delay でこれより長い間隔が指定されている場合は、その指定に従います。
  • エラー時の待機:HTTP 429 または 5xx が返された場合は、Retry-After の指定に従って待機します。失敗が続いた場合は、その回のクロールを中止します。
  • 拒否された場合は停止:HTTP 403 が返された場合は、直ちにクロールを停止します。別のアドレスから再試行することはありません。
  • 不要な負荷の回避:更新されていないページは再取得しません(条件付きリクエスト)。また、サイトの繁忙期として知られる時期を避けます(例:nta.go.jp の確定申告期間)。
  • 利用規約の遵守:各サイトのライセンスと出典表示の要件に従います(例:公共データ利用規約が求める出典の記載)。

アクセスの拒否・制限方法

 robots.txt に gotoai-general-bot 向けのルールを追加してください。

 サイト全体へのアクセスを拒否する場合:

User-agent: gotoai-general-bot
Disallow: /

 サイトの一部へのアクセスを拒否する場合:

User-agent: gotoai-general-bot
Disallow: /private/

 アクセス間隔を広げる場合(リクエスト間の秒数):

User-agent: gotoai-general-bot
Crawl-delay: 10

 本クローラーは、各回のクロール開始時と、クロール中も少なくとも1時間ごとに robots.txt を読み直します。そのため、変更は1時間以内に反映されます。

 直接のご連絡をご希望の場合や、収集済みデータの削除をご希望の場合は、下記までお問い合わせください。

お問い合わせ

更新履歴

  • 2026年11月8日 — 初版
Scroll to Top