top.bringer.cloud / bot-info

BringerBot

クローラー情報  /  Crawler Information
01BringerBotとは

BringerBotは、日本語ウェブ検索エンジン bpr（Bringer Page Rank） のインデックス構築を目的として開発されたウェブクローラーです。 運営：Bringer（bringer.cloud）

02クローラーの種類 / User-Agent
Link Crawler
BringerLinkCrawler/x.y
(+https://top.bringer.cloud/bot-info)
ページ間のリンク構造を収集し、ページランクの計算に使用します。
Content Crawler
BringerContentCrawler/x.y
(+https://top.bringer.cloud/bot-info)
ページ本文・メタ情報を収集し、検索インデックスを構築します。

x.y はバージョン番号で、更新のたびに変わります。robots.txt では、バージョンを除いた名前（BringerLinkCrawler / BringerContentCrawler）で指定してください。

03クロール仕様
  • robots.txt 各サイトの robots.txt を尊重します。Crawl-delay ディレクティブも遵守します。
  • クロール間隔 同一ドメインへのアクセスには間隔を空けます（目安：10秒以上）。
  • 識別方法 すべてのリクエストのUser-Agentに、本ページのURLを含めています。発信元IPアドレスの確認をご希望の場合は、下記までお問い合わせください。
  • 対象コンテンツ 制限はありません。HTML・PDF・テキスト等すべてを対象とします。日本語コンテンツを優先します。
  • 利用目的 収集したデータはbpr検索エンジンのインデックス構築にのみ使用します。第三者への販売・再配布は行いません。
04クロールをブロックするには

サイトの robots.txt に以下を記載することでクロールを制限できます。

# 両方のクローラーをブロック
User-agent: BringerLinkCrawler
Disallow: /

User-agent: BringerContentCrawler
Disallow: /
# リンク収集のみ許可し、本文取得はブロック
User-agent: BringerLinkCrawler
Allow: /

User-agent: BringerContentCrawler
Disallow: /

ブロック設定後も反映までに時間がかかる場合があります。お急ぎの場合はお問い合わせください。

05お問い合わせ

クロールに関するご質問・ご要望は下記までご連絡ください。

info@bringer.cloud

01About BringerBot

BringerBot is a web crawler developed to build the index for bpr (Bringer Page Rank), a Japanese-language web search engine. Operated by Bringer (bringer.cloud).

02Crawler Types / User-Agent
Link Crawler
BringerLinkCrawler/x.y
(+https://top.bringer.cloud/bot-info)
Collects link structures between pages for PageRank computation.
Content Crawler
BringerContentCrawler/x.y
(+https://top.bringer.cloud/bot-info)
Collects page content and metadata to build the search index.

x.y is a version number and changes with each update. In robots.txt, use the name without the version (BringerLinkCrawler / BringerContentCrawler).

03Crawl Specifications
  • robots.txt We respect each site's robots.txt, including the Crawl-delay directive.
  • Crawl Interval We space out requests to the same domain (target: at least 10 seconds).
  • Identification Every request carries this page's URL in its User-Agent. If you need to verify the originating IP address, please contact us below.
  • Content Types No restrictions. HTML, PDF, plain text and more are all targeted. Japanese-language content is prioritized.
  • Data Usage Collected data is used solely for indexing the bpr search engine. We do not sell or redistribute data to third parties.
04How to Block BringerBot

Add the following to your site's robots.txt to restrict crawling.

# Block both crawlers
User-agent: BringerLinkCrawler
Disallow: /

User-agent: BringerContentCrawler
Disallow: /
# Allow link crawling only, block content crawling
User-agent: BringerLinkCrawler
Allow: /

User-agent: BringerContentCrawler
Disallow: /

It may take some time for block settings to take effect. Please contact us if you need immediate action.

05Contact

For questions or requests regarding our crawlers, please reach out to us.

info@bringer.cloud