ログ行とアンケートエクスポート行を重複除去する
該当する場合
同じエラーを繰り返すパイプラインや二重回答のあるアンケートCSV。明示的な順序を保ちながら重複を除く。
使うツール
重複した行を削除。
重複行削除 を開く →手順
- 1フォレンジックか集計かで、ソートか到着順を選ぶ。
- 2大文字小文字と意味のある空白を尊重して重複除去。
- 3同一行が曖昧なら複数キー列を確認。
- 4トレーサビリティが要るなら生と整形の両方を保管。
例
- 同じスタックトレースを連投するポーリングアラート。
- テスト二重送信のあるtypeformエクスポート。
避けること
- 近いが同一でない行を潰す。
- メッセージがキーなのに異なるタイムスタンプを消す。
- 重複除去前にエンコーディングを混ぜる。
関連ツール
ブログで
テキストツール のその他
- 下書きと制限のための単語・文字数カウント
- フォームとSMS風メッセージの文字上限を計測する
- ログ・設定・レイアウトのための改行を数える
- リスト・設定キー・プレイリストの行をソートする
- スタック解析とストーリーボードのための行順反転
- 公開またはMarkdownインポート前に空行を削除する
すべてのタスクガイド または次の テキストツール ハブ.
よくある質問
安定ソート？
どちらの重複を残すかに業務意味があれば必要。
複数列CSV？
事前に複合キーを決める。