データ目録 › 出典と作り方
出典と作り方
ここは何か
CAPLOGUE(キャプローグ)は、街を評価するためのデータを集めているサイトです。 表の https://caplogue.com が住みやすい街のランキングで、 スコアの出し方は 街評価アルゴリズム に 1つ残らず出しています。
この data. の面は、その材料を加工せずそのまま置いてある場所です。 スコアを出す前の生の数字を、誰でも確かめられるようにしてあります。
出典
日本の全法人(N-15)
- 出典
- gBizINFO 基本情報(経済産業省)
https://info.gbiz.go.jp/ - 利用条件
- 政府標準利用規約(第2.0版)
- 更新
- 毎日作り直される
- 表記
- 『Gビズインフォ』(経済産業省)https://info.gbiz.go.jp/ を加工して作成
暮らしの店(N-06/11/12/13)
- 出典
- 各チェーンの公式サイト・全国「道の駅」連絡会(各社・全国「道の駅」連絡会)
- 利用条件
- 各社のサイト利用条件に従い、事実の項目(店名・住所・電話・営業時間・座標)だけ
- 更新
- 週に1回、公式サイトが動いたかを見る
- 表記
- 各チェーンの公式サイトと全国「道の駅」連絡会から集めています。店・駅ごとに、その公式ページへリンクしています。
町丁目の区分・名前・人口・位置は、総務省統計局「令和2年国勢調査 小地域」を 姉妹サイト ゼロトゥワン が整えたものを読んでいます。
作り方
全件ファイルを手元に落とし、都道府県ごとに分けて入れています。1つの塊を入れるたびに、入った数を数え直して確かめ、 合ってから手元のファイルを消します。確かめに1つでも落ちたら、1バイトも消しません。
入れたあとに、市区町村ごと・町丁目ごとの数を先に出しておきます。 画面を開くたびに570万行を数えると遅いからです。 この数え直しも、元の表と突き合わせて一致することを確かめてから使っています。
新しい版が出ていないかは毎日見に行きますが、中身は1バイトも落としません(版の日付とファイルの長さだけを見ます)。 走ったかどうかは別の仕組みが毎日確かめます。結果は 取込の状態 に出しています。
暮らしの店をどう採っているか
店のデータは国が出しているものではなく、各チェーンの公式サイトから採っています。 採るのは、その会社が自分から機械に読ませる形で置いているものだけです。 具体的には、サイトマップに店舗ページを並べ、そのページに schema.org の構造化データ(店名・住所・電話・営業時間・位置)を置いている社です。
画面の裏で動いている内部の仕組みは掘りません。使ってよいという裏づけが取れず、予告なく壊れ、相手のサーバに当たり続けることになるからです。robots.txt で断られている社も採りません。 断られたことが分かった時点で、その社の巡回を止めます。
入れるのは事実の項目だけです。説明文・写真・ロゴ・チラシ・キャンペーンの文言は、その会社の著作物なので入れていません。店ごとに、その会社の公式の店舗ページへリンクを返しています。
各社の公式サイトが動いたかどうかは週に1回見に行きます。 見るのはその会社が出している店の数と、一覧の見出し(長さ・更新日時・ETag)だけで、 動いていない社の中身は落としません。動いた社だけ採り直します。数を教えてくれない会社は、全部を読み込まないと数が分かりません。 毎週それをすると相手のサーバーに負担がかかるので、期間を決めて採り直しています。
気をつけていること
- 「取れた数」を「街にある数」と言わない。公式サイトから機械で取れない会社があります(ローソンなど)。 取れていない会社の店は1店も入っていないので、この数で街どうしを比べられません。取れている会社でも、採り先がその会社の店舗一覧ではないことがあります (セブン‐イレブンは、公式の店舗検索が機械で読めないので セブン銀行のATM設置場所から採っています)。 そういう会社は 暮らしの店 と 取込の状態 の両方に、何から採ったかを書いています。
- 調べていないことを埋めない。分からない項目は空欄のまま出します。0 や「なし」と書きません。
- 寄せたものを、もとの値として見せない。町丁目は住所の文字列から寄せたもので、登記の住所に町丁目のコードはありません。
- 閉鎖した法人を消さない。「昔そこにあった」ことも街の情報だからです。閉鎖と分かるように書いています。
- 多いことを良いことのように書かない。法人が多い町は人も車も多い町です。ここでは数をそのまま出すだけにしています。
検索結果に出していません
この面のほとんどのページは、検索エンジンに載せない設定にしています。 名前と住所だけの法人のページが582万枚あり、それが検索結果に出ても、読んだ人にできることが増えないからです。リンクは辿れるようにしてあるので、必要な人はここから確かめられます。
学校を設置している法人だけは、検索結果に出しています。姉妹サイト学びの窓口が持っている私立学校と つながった法人です。学校をさがしている人には、 その学校を設置しているのがどういう法人なのかに意味があるためです。
運営
『Gビズインフォ』(経済産業省)https://info.gbiz.go.jp/ を加工して作成