- サービス連携
- 差分同期で一意キーにファイル内の列名が出てこない、全データ同期が赤×で失敗する
- サービス連携:オブジェクト一覧の設定
- サービス連携:オブジェクト選択
- 全データ同期
- 差分同期
- 更新キー
- 一意キー
- 更新条件
サービス連携
「サービス連携」から各社サービスとデータ連携の設定をします。
- srushの管理画面へログインします。
- データシート > サービス連携 > 連携したいサービス名を検索 > 押下
差分同期で一意キーにファイル内の列名が出てこない、全データ同期が赤×で失敗する
ファイルの内容によってファイル内のデータが正常に取得できず、一意キー選択時に列名が表示されない場合、あるいは全データ同期が赤×で失敗する場合があります。
それでも改善されない、もしくは文字コードが「shiftjis」の場合は接続設定の「スキーマ」を指定する必要があります。
以下の形ですべての列名を並べ、「スキーマ」の入力欄に設定してください。
{"列名1": "string", "列名2": "string"}サービス連携:オブジェクト一覧の設定
- 名前
任意のお好きなものを入力してください。
- フォーマット
連携対象のファイルの形式を選択してください。
ここでは
CSV Formatを選択した場合を例に説明します。 - ヘッダーの定義
CSVのヘッダー(カラム名)の定義方法を選択します。
From CSVを選択してください。※ From CSVはCSV中のヘッダーからヘッダーを定義する方法です
任意の設定項目‣通常、以下項目はデフォルトから変更する必要はございません。
デフォルトの設定でうまく連携出来ない場合にご設定ください。- 文字コード
CSVの文字コードを指定します。
デフォルトのutf8で文字化けする場合、shiftjisや932をお試しください。 - ヘッダーの前の行をスキップ
ヘッダー行の前にスキップする行数を指定します。
ヘッダー行がCSVの1行目にある場合はデフォルトの
0を、3行目にある場合は2をご指定ください。 - フィールドの不一致に関するエラーを無視する
CSVのフィールド数とスキーマのカラム数が一致しない場合に発生するエラーを無視するかどうかを選択してください。
- True値
真の値として解釈されるべき大文字小文字を区別する文字を指定してください。
- 文字列はNULLにすることができます
文字列をNULLとして解釈するかどうかを選択してください。
- False値
偽の値として解釈されるべき大文字小文字を区別する文字を指定してください。
- エスケープ文字
エスケープ文字を指定してください。エスケープを無効にするには、このフィールドを空白のままにします。
よく使用される文字はバックスラッシュ (
\) です。たとえば、次のデータがあるとします。Product,Description,Price Jeans,"Navy Blue, Bootcut, 34\"",49.99バックスラッシュ (
\) は、2 番目の二重引用符 ( ) の直前に使用され、"それがフィールドの閉じ引用符ではなく、値に含めるリテラルの二重引用符文字であることを示します (この例では、ジーンズのサイズをインチで示しています:34") - 区切り文字
CSVデータ内の個々のセルを区切る文字をご指定ください。1文字のみ入力可能です。
タブ区切りの場合は\tと入力してください。 - Null値
Null値として解釈されるべき大文字小文字を区別する文字列の集合を指定してください。
例えば、値「NA」を null として解釈する場合は、このフィールドに「NA」と入力します。
- 二重引用符
引用符で囲まれたCSV値の中の二重引用符が、データの中の1つの引用符を表すかどうかを選択してください。
- 引用文字
CSV値の引用符付けに使用する文字をご指定ください。
引用符で囲まないようにするには、このフィールドを空白にします。
- ヘッダー後の行をスキップ
ヘッダー行の後にスキップする行数を指定します。
- 文字コード
任意の設定項目
- パス パターン(必須)
どのファイルを選択するかを指定するためのパターンを入力してください。
例)‣**(デフォルト):すべてに一致します。**/file.csv:特定のファイル名と拡張子を持つファイルと一致します。**/*.csv: 特定の拡張子を持つすべてのファイルと一致します。myFolder/**/*.csv: myFolder の下にあるすべての csv ファイルに一致します。*/**: 少なくとも 1 つのフォルダーの深さにあるすべてのものに一致します。*/*/*/**: 少なくとも 3 つのフォルダーの深さにあるすべてのものと一致します。**/file.*|**/file: 拡張子が任意の(または拡張子なしの)「file」という名前のすべてのファイルに一致します。x/*/y/*: サブフォルダー x -> 任意のフォルダー -> フォルダー y にあるすべてのファイルに一致します。
**/prefix*.csv: 特定のプレフィックスを持つすべての csv ファイルに一致します。**/prefix*.parquet: 特定のプレフィックスを持つすべての parquet ファイルに一致します。
デフォルトの設定でうまく連携出来ない場合にご設定ください。
- スキーマレス
ストリーム(オブジェクト)のスキーマに対してレコードの検証や構造化を行わないかどうかを選択します。
- スキーマ
ファイルから抽出されたレコードを検証するために使用されるスキーマ(カラム定義)を入力します。設定した場合、受信ファイルから自動検出されるオブジェクトのスキーマを上書きします。
- 検証ポリシー
レコードがストリームスキーマに準拠していない場合、同期の動作を指示する検証ポリシーの名前を選択します。
- 履歴がいっぱいの場合に同期するまでの日数
履歴がいっぱいの場合に同期するまでの日数をご入力してください。
ファイル・ストアの状態履歴がいっぱいになると、シンクは指定された日数の範囲で最後に更新されたファイルのみを読み込みます。
サービス連携:オブジェクト選択

- どのオブジェクトをSrushに連携するかを選択します。
データ量に応じて取得時間も増えますので、必要なオブジェクトのみに絞り込んでいただくのがおすすめです。
- データ同期方式
データ同期方式を選択してください。
通常はデータ転送量の少ない
差分同期を 推奨します。差分同期で問題がある場合は全データ同期をご選択ください。- 全データ同期
- 差分同期
- 更新キー
_ab_source_file_last_modifiedのみ選択可能です。 - 一意キー
ユニークな列名(IDなど)を選択してください。
- 更新キー
全データ同期
更新の際に、毎回すべてのデータを取得して同期します。
※連携元に日次や週次でファイルが増えていくような場合は、年月が経過するにつれてデータ量が膨大になり更新が終わらなくなってしまうなどの問題が発生するため差分同期をお願いします。
差分同期
更新の際に、差分のデータを判別して同期します。
差分の判別には「更新キー」「一意キー」が必要です。
更新キー
時系列の判別に使われる情報です。
「_ab_source_file_last_modified」のみ選択可能です。
「_ab_source_file_last_modified」とは、連携元のファイルの更新日です。
更新キーをみて、どのデータが新しいのかを判別します。
一意キー
データの特定に使われる情報です。
連携元のファイルにある列の中から1つ選択可能です。
たとえばIDなど、ユニークに割り当てられる列を選択してください。
一意キーをみて、同期済のデータなのか、新しいデータなのかを判別します。
更新条件
差分同期では、以下のように同期が行われます。
- 一意キーが異なる場合、新しいデータとして同期
- 一意キーが同一で更新キーが異なる場合
- 更新キーが新しければ新しい方のデータで上書き
- 更新キーが古ければそのまま(Srush上のデータは上書きされない)