最終更新日:2026年11月8日
gotoai-general-bot は、GotoAI Inc.(以下「GotoAI」)が運用するウェブクローラーです。官公庁の公表資料や裁判例など、一般に公開されている情報を収集します。収集にあたっては、各サイトの robots.txt および利用規約を遵守します。
GotoAI は、収集したデータを研究、ならびに自社の製品・サービス向けの検索用データセットの構築に利用します。
クローラーの識別方法
本クローラーは、次の User-Agent を送信します。
gotoai-general-bot/0.1 (+https://gotoai.com/en/references-en/gotoai-general-bot-en/)
robots.txtで指定するトークンはgotoai-general-botです。/以降のバージョン番号はクローラーの更新に伴い変わりますが、トークンは変わりません。- User-Agent は第三者でも名乗ることができます。この名前を使ったアクセスが本ページの記載と異なる動作をしている場合は、お問い合わせください。
クロールポリシー
robots.txtの遵守:サイトのクロール前にrobots.txtを読み込み、すべての URL がアクセス可能かを確認します。Crawl-delayにも従います。- 公開ページのみ:ログイン、有料コンテンツの回避、CAPTCHA の突破、フォームの送信は行いません。
- 低速・逐次アクセス:リクエストは一度に1件ずつ送信します。ほとんどのサイトでは、GotoAI General Bot のアクセス頻度は平均して数秒に1回以下です。
Crawl-delayでこれより長い間隔が指定されている場合は、その指定に従います。 - エラー時の待機:HTTP 429 または 5xx が返された場合は、
Retry-Afterの指定に従って待機します。失敗が続いた場合は、その回のクロールを中止します。 - 拒否された場合は停止:HTTP 403 が返された場合は、直ちにクロールを停止します。別のアドレスから再試行することはありません。
- 不要な負荷の回避:更新されていないページは再取得しません(条件付きリクエスト)。また、サイトの繁忙期として知られる時期を避けます(例:nta.go.jp の確定申告期間)。
- 利用規約の遵守:各サイトのライセンスと出典表示の要件に従います(例:公共データ利用規約が求める出典の記載)。
アクセスの拒否・制限方法
robots.txt に gotoai-general-bot 向けのルールを追加してください。
サイト全体へのアクセスを拒否する場合:
User-agent: gotoai-general-bot
Disallow: /
サイトの一部へのアクセスを拒否する場合:
User-agent: gotoai-general-bot
Disallow: /private/
アクセス間隔を広げる場合(リクエスト間の秒数):
User-agent: gotoai-general-bot
Crawl-delay: 10
本クローラーは、各回のクロール開始時と、クロール中も少なくとも1時間ごとに robots.txt を読み直します。そのため、変更は1時間以内に反映されます。
直接のご連絡をご希望の場合や、収集済みデータの削除をご希望の場合は、下記までお問い合わせください。
お問い合わせ
- https://gotoai.com/contact-us-jp/ — お問い合わせの際は、本文に
gotoai-general-botとご記載ください。
更新履歴
- 2026年11月8日 — 初版