affaan-m/ECC

data-scraper-agent

Review data-scraper-agent's use cases, installation, workflow, and original source instructions.

60Collecting

See source evidence View GitHub source

npx skills add https://github.com/affaan-m/ECC --skill "docs/ja-JP/skills/data-scraper-agent"

Source profileDocumentationCatalog only

Source checked Jul 28, 2026·Refresh due Oct 26, 2026

Limited to facts supported by the pinned source

What the pinned source establishes about data-scraper-agent

任意のパブリックデータソース用の本番環境対応、AI搭載データ収集エージェントを構築。スケジュールで実行され、無料LLMで結果を豊かにし、データベースに保存し、時間とともに改善されます。

npx skills add https://github.com/affaan-m/ECC --skill "docs/ja-JP/skills/data-scraper-agent"

Check the pinned source

The pinned source contains about 63 English words and 6 usable sections. That evidence supports a source profile, not a complete guide.

63 source words · 6 usable sections

What the source actually contains

3 verifiable source sections for data-scraper-agent

Sections are extracted automatically from the pinned SKILL.md and link back to the source.

01

アクティベーション時期

ユーザーが任意のパブリックWebサイトまたはAPIをスクレイプまたは監視したい場合

SKILL.md · アクティベーション時期

ユーザーが任意のパブリックWebサイトまたはAPIをスクレイプまたは監視したい場合ユーザーが「チェックするボットを構築」「Xを監視」「データを収集」と言うユーザーがジョブ、価格、ニュース、リポ、スポーツスコア、イベント、リストを追跡したい場合

02

コアコンセプト

すべてのデータスクレイパーエージェントには3つのレイヤーがあります：

SKILL.md · コアコンセプト

すべてのデータスクレイパーエージェントには3つのレイヤーがあります：

03

3つのレイヤー

すべてのデータスクレイパーエージェントには3つのレイヤーがあります：

SKILL.md · 3つのレイヤー

すべてのデータスクレイパーエージェントには3つのレイヤーがあります：

Choose a different workflow

When another Skill is the better fit

data-scraper-agent

Build a fully automated AI-powered data collection agent for any public source — job boards, prices, news, GitHub, sports, anything. Runs on a schedule, enriches data with a free LLM (Gemini Flash), stores results in Notion/Sheets/Supabase, and learns from user feedback. Runs 100% free on GitHub Actions. Use when the user wants to monitor, collect, or track any public data automatically.

A separate implementation from affaan-m/ECC; compare its source, maintenance signals, and permission requirements.

Open source detail

data-scraper-agent

Use it for testing and engineering tasks; the detail page covers purpose, installation, and practical steps.

A separate implementation from affaan-m/ECC; compare its source, maintenance signals, and permission requirements.

Open source detail

FAQ

How do I install data-scraper-agent?

The source record exposes this install command: npx skills add https://github.com/affaan-m/ECC --skill "docs/ja-JP/skills/data-scraper-agent". Inspect the command and pinned source before running it.

Repository stars

234,327

Repository forks

35,711

Quality

60/100

Source repository last pushed

2026-07-27

Quality breakdown

Based on traceable docs and repository signals; stars are not treated as quality.

60/100

Documentation17/30

Specificity11/25

Maintenance20/20

Trust signals12/25

Compare before choosing

Related Agent Skills and source variants

These links are selected from shared tasks, functions, stacks, platforms, and same-name variants. Compare the source owner, documentation, permissions, and maintenance signals.

data-scraper-agent by affaan-m

Build a fully automated AI-powered data collection agent for any public source — job boards, prices, news, GitHub, sports, anything. Runs on a schedule, enriches data with a free LLM (Gemini Flash), stores results in Notion/Sheets/Supabase, and learns from user feedback. Runs 100% free on GitHub Actions. Use when the user wants to monitor, collect, or track any public data automatically.

data-scraper-agent by affaan-m

Use it for testing and engineering tasks; the detail page covers purpose, installation, and practical steps.

View original Skill.mdThis page is parsed directly from the repository SKILL.md without editorial rewriting. Collected: Jul 28, 2026 · about 1 min

データスクレイパーエージェント

任意のパブリックデータソース用の本番環境対応、AI搭載データ収集エージェントを構築。スケジュールで実行され、無料LLMで結果を豊かにし、データベースに保存し、時間とともに改善されます。

スタック：Python · Gemini Flash（無料） · GitHub Actions（無料） · Notion / Sheets / Supabase

アクティベーション時期

ユーザーが任意のパブリックWebサイトまたはAPIをスクレイプまたは監視したい場合
ユーザーが「チェックするボットを構築」「Xを監視」「データを収集」と言う
ユーザーがジョブ、価格、ニュース、リポ、スポーツスコア、イベント、リストを追跡したい場合
ユーザーがホスティング用に支払わずにデータ収集を自動化する方法を尋ねる
ユーザーが決定に基づいて時間とともによりスマートになるエージェントを望む

コアコンセプト

3つのレイヤー

すべてのデータスクレイパーエージェントには3つのレイヤーがあります：

COLLECT → ENRICH → STORE
  │           │        │
Scraper    AI (LLM)  Database
runs on    scores/   Notion /
schedule   summarises Sheets /
           & classifies Supabase

無料スタック

Layer	Tool	Why
COLLECT	Playwright/BeautifulSoup	無料のオープンソーススクレイピング
ENRICH	Gemini Flash	無料で高速LLM
STORE	Supabase / Sheets	無料データベースとスプレッドシート
SCHEDULE	GitHub Actions	無料クロンジョブ

ワークフロー

ソースを定義 - どこからスクレイプするか、何を抽出するか
スクレイパーを構築 - BeautifulSoup または Playwright ベースのコレクタ
LLMを構成 - Gemini Flash でテキストをスコア付け/要約/分類
ストレージを設定 - Notion、Sheets、Supabase のいずれか
GitHub Actions を設定 - 毎日/毎週実行するスケジュール
フィードバックループを追加 - ユーザーの判断から学習

例

ジョブボード監視：新しい公開

Source repo: affaan-m/ECC
Skill path: docs/ja-JP/skills/data-scraper-agent/SKILL.md
Commit SHA: 4e973d3eaf92
Repository license: MIT
Data collected: Jul 28, 2026