my_eu

My.EU

データ処理

要件

anaconda では Python 3 を使用することをお勧めします。 pip を使用してインストールする非 conda 依存関係もあります。

 pip install -r requirements.txt

IPython ノートブックの出力のコミットを避けるには、出力が非常に大きくなり、差分が読みにくくなる可能性があるため、nbstripout を git フィルターとしてインストールしてください。

dataディレクトリには、IPython ノートブックの実行と適切な出力ファイルの更新を処理するMakefileがあります。

 cd data
make

入力データセット

ほとんどのデータセットはこのリポジトリに含まれていますが、一部のデータセットは非常に大きいため、次のように個別にダウンロードする必要があります。

これらをダウンロードする必要があるのは、関連する処理を行う場合のみです。アプリの開発に必要なデータはdata/*/outputフォルダー、特にdata/map/outputにあります。

キャップ

これらの情報源から:

• http://data.nicva.org/dataset/common-agriculture-policy-cap-payments/resource/e153b560-7538-442b-b3ab-a40bf4adf576 (2014)
• http://data.nicva.org/dataset/common-agriculture-policy-cap-payments/resource/06307dc0-4dcb-4305-a3e2-a8fdeb2a2a25 (2015)
• http://cap-payments.defra.gov.uk/Download.aspx (2016、2017) (注: リンクは微妙です。「 2016 年と2017 年のスプレッドシートはここをクリックしてください。」を探してください。)

ファイルはここに保存する必要があります。

• data/cap/input/2014_All_CAP_Search_Results_Data_P14_1.xls
• data/cap/input/2015/DAERA-Table 1.csv
• data/cap/input/2015/RPA-Table 1.csv
• data/cap/input/2015/RPA2-Table 1.csv
• data/cap/input/2015/SGRPID-Table 1.csv
• data/cap/input/2015/WG-Table 1.csv
• data/cap/input/2016_All_CAP_Search_Results_Data_P14.xlsx
• data/cap/input/2017_All_CAP_Search_Results_Data_P14.xlsx

コルディス

これらの情報源から:

• https://data.europa.eu/euodp/data/dataset/cordisfp7projects
• https://data.europa.eu/euodp/en/data/dataset/cordisH2020projects

ファイルはここに保存する必要があります。

• data/cordis/input/fp7/cordis-fp7briefs.xlsx
• data/cordis/input/fp7/cordis-fp7organizations.xlsx
• data/cordis/input/fp7/cordis-fp7projects.xlsx
• data/cordis/input/h2020/cordis-h2020organizations.xlsx
• data/cordis/input/h2020/cordis-h2020projects.xlsx

エラスムス

このページから:

• http://ec.europa.eu/programmes/erasmus-plus/projects/eplus-projects-compendium/

ファイルはここに保存する必要があります。

• data/erasmus/input/CoopIndustrialisedCountries_Projects_Overview_2018-09-10.xls
• data/erasmus/input/ErasmusMundus_Projects_Overview_2018-09-10.xls
• data/erasmus/input/ErasmusPlus_JeanMonnet_Projects_Overview_2018-09-10.xls
• data/erasmus/input/ErasmusPlus_KA1_2014_LearningMobilityOfIndividuals_Projects_Overview_2018-09-11.xls
• data/erasmus/input/ErasmusPlus_KA1_2015_LearningMobilityOfIndividuals_Projects_Overview_2018-09-11.xls
• data/erasmus/input/ErasmusPlus_KA1_2016_LearningMobilityOfIndividuals_Projects_Overview_2018-09-11.xls
• data/erasmus/input/ErasmusPlus_KA1_2017_LearningMobilityOfIndividuals_Projects_Overview_2018-09-10.xls
• data/erasmus/input/ErasmusPlus_KA1_2018_LearningMobilityOfIndividuals_Projects_Overview_2018-09-10.xls
• data/erasmus/input/ErasmusPlus_KA2_CooperationForInnovationAndTheExchangeOfGoodPractices_Projects_Overview_2018-09-10.xls
• data/erasmus/input/ErasmusPlus_KA3_SupportForPolicyReform_Projects_Overview_2018-09-10.xls
• data/erasmus/input/ErasmusPlus_Sports_Projects_Overview_2018-09-10.xls
• data/erasmus/input/LifeLongLearning_Projects_Overview_2018-09-10.xls
• data/erasmus/input/Sports_Projects_Overview_2018-09-10.xls
• data/erasmus/input/Tempus_Projects_Overview_2018-09-10.xls
• data/erasmus/input/YouthInAction_Projects_Overview_2018-09-10.xls

人生

このページから:

https://www.eea.europa.eu/data-and-maps/data/natura-9#tab-european-data

NATURA2000SITES csv ファイルはここに保存する必要があります。

• data/life/input/NATURA2000SITES.csv

郵便番号

郵便番号と選挙区の検索については、https://opendata.camden.gov.uk/Maps/National-Statistics-Postcode-Lookup-UK/tr8t-gqz7 からデータをダウンロードし、gzip でここに保存します。

• data/postcodes/input/National_Statistics_Postcode_Lookup_UK.csv.gz

アプリ開発

最新のアプリケーションはfrontendディレクトリにあります。 webpackで構築された静的Webサイトです。

要件

Node js バージョン 8.11 以降をインストールします。

このアプリケーションは Google マップを使用するため、開発用に Google Cloud Platform アカウントを作成する必要があります。これにはクレジット カードを登録する必要がありますが、開発での使用は通常無料枠内で行われます。

1. API リストに移動し、Google Maps JavaScript API と Places API の両方が有効になっていることを確認します。

2. 認証情報リストに移動し、開発用の API キーを生成します。

環境

開発の場合は、開発用 Google Maps API キーを環境変数に入れる必要があります。

 DEVELOPMENT_MY_EU_API_KEY=YourKeyHere

(実稼働環境にデプロイするには、 PRODUCTION_MY_EU_API_KEY変数を実稼働 API キーに設定する必要があります。以下のデプロイメントに関する注意事項を参照してください。)

アプリケーションの実行

 cd frontend
npm install
npm run dev

これによりhttp://localhost:8080/webpack-dev-server/にあるwebpack-serve開発サーバーを使用してアプリケーションが起動します。 frontend/srcにあるアプリケーションのソース ファイルを変更すると、ほとんどの場合、ページが自動的にリロードされます。

また、本番環境で構築されるときにプレビューすることもできます (ただし、開発用 Google Maps API キーを使用するため、地図は読み込まれます)。

 cd frontend
PRODUCTION_MY_EU_API_KEY=$DEVELOPMENT_MY_EU_API_KEY npm run build
npm run serve
rm -rf dist # don't leak your development key!

コードスタイル

ルートには、エンコーディング、タブとスペースなどを定義する editorconfig があります。それを使用してください。これを行う最善の方法は、エディタ用の editorconfig プラグインを入手することです。

より適切なコード フォーマッタは、JavaScript コードを一貫してフォーマットするように設定されています。ぜひご利用ください。最善の方法はエディタ用のプラグインを入手することですが、次のコマンドを実行することもできます。

 npm install # in the repo root
npm run prettier

すべてのコードをフォーマットします。

JavaScript リンティング用の eslint もあります。繰り返しますが、エディタのプラグインを有効にするのが最善ですが、次のコマンドを実行することもできます。

 npm run eslint

すべてのコードをチェックします。

導入

静的ウェブサイトは、SSL 用の CloudFlare の背後にある Google Cloud Storage にデプロイされます。導入するには:

1. ウェブサイトをホストする Google Cloud Storage バケットへの書き込みアクセスを許可する必要があります。

2. PRODUCTION_MY_EU_API_KEYを取得する必要があります。これにより、リファラーがwww.myeu.ukに制限されます (ローカルホストや他のドメインは許可されません)。

3. エラー監視を使用してデプロイするには、ロールバー プロジェクトのROLLBAR_ACCESS_TOKEN ( post_client_item ) キーとROLLBAR_DEPLOY_ACCESS_TOKEN ( post_server_item ) キーを取得する必要があります。

次に、デプロイ スクリプトを実行してデプロイします。

 cd frontend
./deploy.sh

ライセンス

LICENSE.md参照してください。