🔗

サービス連携(S3)

連携準備

⚠️
  • SrushがS3バケットのデータにアクセスできるよう、適切なAWS IAM(Identity and Access Management)ポリシーを設定していること
  • IAMユーザーまたはロールに「GetObject」および「ListBucket」の権限が付与されていること

サービス連携

「サービス連携」から各社サービスとデータ連携の設定をします。

  1. srushの管理画面へログインします。
  2. データシート > サービス連携 > 連携したいサービス名を検索 > 押下

サービス連携:接続設定

接続名

ディレクトリの名前となります。任意のお好きなものを入力してください。

バケット

データを保存するS3のバケット名を入力します。(例:my-srush-bucket)

オブジェクト一覧

S3に保存されているデータファイルを指定するための設定です。

ここで対象とするファイルの形式や取得方法を指定します。
具体的な指定については にて説明します

任意の設定項目

AWSアクセスキーID(必須)

非公開のデータである場合、入力してください。

AWSシークレットアクセスキー(必須)

非公開のデータである場合、入力してください。

その他の項目はデフォルト値のままで問題ありませんので、「次へ」進んでください。

開始日

同期開始日時を UTC で指定します。
この日付より前に変更されたファイルは同期されません。
全期間を取得したい場合は空欄でお願いいたいします。

エンドポイント

Amazon S3互換のサービスを使用する場合は、カスタムエンドポイントを入力します。

AWS純正のS3を使用する場合は空欄のままでOK。

AWSリージョン

S3バケットが配置されているAWSリージョンを指定します。(例:us-east-1)

指定しない場合は自動で判別されます。

Role ARN

IAMロールのARNを指定すると、より安全な認証(AssumeRole)が可能になります。

アクセスキーIDとシークレットキーを使わずに、IAMロール経由でアクセスする場合に利用します。

サービス連携:オブジェクト一覧の設定

  1. フォーマット

    連携対象のファイルの形式はCSV Format を選択します。

  2. ヘッダーの定義

    2でCSV Format を選択した場合自動で From CSV が割り当てられます。

    ※ From CSVはCSV中のヘッダーからヘッダーを定義する方法です

  3. 任意の設定項目(上部)
    💡

    通常「任意の設定項目(上部)」はデフォルトから変更する必要はございません。
    デフォルトの設定でうまく連携出来ない場合にご設定ください。

    ‣
    任意の設定項目(上部)
    1. 文字コード

      CSVの文字コードを指定します。
      デフォルトの utf8 で文字化けする場合、 shiftjis や 932 をお試しください。

      BOM付きのutf8の場合、utf_8_sigと入力してください。

    2. ヘッダーの前の行をスキップ

      ヘッダー行の前にスキップする行数を指定します。

      ヘッダー行がCSVの1行目にある場合はデフォルトの 0 を、3行目にある場合は 2 をご指定ください。

    3. フィールドの不一致に関するエラーを無視する

      CSVのフィールド数とスキーマのカラム数が一致しない場合に発生するエラーを無視するかどうかを選択してください。

    4. True値

      真の値として解釈されるべき大文字小文字を区別する文字を指定してください。

    5. 文字列はNULLにすることができます

      文字列をNULLとして解釈するかどうかを選択してください。

    6. False値

      偽の値として解釈されるべき大文字小文字を区別する文字を指定してください。

    7. エスケープ文字

      エスケープ文字を指定してください。エスケープを無効にするには、このフィールドを空白のままにします。

      よく使用される文字はバックスラッシュ ( \) です。たとえば、次のデータがあるとします。

      Product,Description,Price
      Jeans,"Navy Blue, Bootcut, 34\"",49.99

      バックスラッシュ ( \) は、2 番目の二重引用符 ( ) の直前に使用され、"それがフィールドの閉じ引用符ではなく、値に含めるリテラルの二重引用符文字であることを示します (この例では、ジーンズのサイズをインチで示しています: 34")

    8. 区切り文字

      CSVデータ内の個々のセルを区切る文字をご指定ください。1文字のみ入力可能です。
      タブ区切りの場合は \t と入力してください。

    9. Null値

      Null値として解釈されるべき大文字小文字を区別する文字列の集合を指定してください。

      例えば、値「NA」を null として解釈する場合は、このフィールドに「NA」と入力します。

    10. 二重引用符

      引用符で囲まれたCSV値の中の二重引用符が、データの中の1つの引用符を表すかどうかを選択してください。

    11. 引用文字

      CSV値の引用符付けに使用する文字をご指定ください。

      引用符で囲まないようにするには、このフィールドを空白にします。

    12. ヘッダー後の行をスキップ

      ヘッダー行の後にスキップする行数を指定します。

  4. 名前

    任意のお好きなものを入力してください。

    ⚠️

    連携完了後に名前を変更することはできません(変更すると対象の連携シートが更新できなくなるので注意してください)

  5. 任意の設定項目(下部)
    ‣
    任意の設定項目(下部) ※必須※
    1. パスパターン ※必須※

      パスパターンをデフォルトから変更し入力した場合は、入力後Enterキーを押下し設定を完了させてください

      パスパターンの設定(一例)

      1. 全てに一致します **(デフォルト)
      2. バケット内のフォルダ名の接頭辞を指定 ファイル名*.csv
      3. バケット内のフォルダ名を指定 ファイル名.csv
      4. バケット内のフォルダ名を指定しその中のファイル名の接頭辞を指定する場合 フォルダ名/ファイル名*.csv
      5. バケット内のフォルダ名を指定しその中のファイル名を指定する場合 フォルダ名/ファイル名.csv

        💡

        デフォルト**の場合、Rootフォルダ以下全てのCSVファイルがUNIONされた形で一つのデータシートに連携されます。この場合、差分更新は不可となります。

        ファイル名の接頭辞およびファイル名を指定する場合は連携対象ファイルに関してS3内で一意のファイル名をつけていただく必要がございます。この場合、差分更新が可能となります。

        ※追加したオブジェクトごとにパスパターンの設定が可能です。

        ※S3のオブジェクトの概要から「キー」をコピーしてそのまま設定が可能です。

      例

      • ** (デフォルト):すべてに一致します。
      • **/file.csv :特定の名前を持つcsvファイルに一致します。
      • **/*.csv: 特定の拡張子を持つすべてのファイルと一致します。
      • myFolder/**/*.csv: myFolder の下にあるすべての csvファイルに一致します。
      • */**: 少なくとも 1 つのフォルダーの深さにあるすべてのものに一致します。
      • */*/*/**: 少なくとも 3 つのフォルダーの深さにあるすべてのものと一致します。
      • **/file.*|**/file: 拡張子が任意の(または拡張子なしの)「file」という名前のすべてのファイルに一致します。
      • x/*/y/*

        : サブフォルダー x -> 任意のフォルダー -> フォルダー y にあるすべてのファイルに一致します。

      • **/prefix*.csv: 特定のプレフィックスを持つすべての csv ファイルに一致します。
      • **/prefix*.parquet: 特定のプレフィックスを持つすべての parquet ファイルに一致します。
    2. スキーマ

      ファイルから抽出されたレコードを検証するために使用されるスキーマをご入力してください。これは、受信ファイルから自動検出されるストリームスキーマを上書きします。

      💡

      行が空のCSVが存在する場合スキーマの判定が出来ずに同期エラーになる場合があります。その場合にこちらのスキーマ項目をご設定ください。データ型は全て「string」で問題ございません。

      例. {”ID”: “string”, “name”: “string”, “CREATED_DATE”: “string”}

サービス連携:オブジェクト選択

フォルダ内に差分のファイルが更新されていく場合には、「データ同期方式」を「差分同期」に変更してください。

「更新キー」は「_ab_source_file_last_modified」のみ選択可能です。

「一意キー」にはファイル内のユニークな列名(IDなど)選択してください。

※同一の「一意キー」で「更新キー」が異なるものがあれば、「更新キー」が新しい方のデータで上書きする挙動となります。詳細は本ページ下部をご参考ください。

差分同期で一意キーにファイル内の列名が出てこない、全データ同期が赤×で失敗する

ファイルの内容によってファイル内のデータが正常に取得できず、一意キー選択時に列名が表示されない場合、あるいは全データ同期が赤×で失敗する場合があります。

それでも改善されない、もしくは文字コードが「shiftjis」の場合は接続設定の「スキーマ」を指定する必要があります。

以下の形ですべての列名を並べ、「スキーマ」の入力欄に設定してください。

{"列名1": "string", "列名2": "string"}

<TOPへ戻る