Кроме стандартных решений, есть новые инструменты, предлагающие расширенный функционал и дополнительные функции.
csvkit — это комплект инструментов для обработки колонками в CSV-файлах. Он включает такие команды, как csvcut для отбора и изменения порядка колонок, csvgrep для фильтрования и csvsql для запуска SQL-запросов прямо на CSV-файлах.
Miller (mlr) — эффективный инструментарий, который распознает множество форматов (CSV, JSON, DKVP) и работает с данными как с записями в базе данных. Он дает возможность проводить сложные операции: слияние, сортировку, статвычисления и, конечно, работу с колонками.
xsv — стремительная программа, созданная на Rust, специально разработанная для работы с крупными CSV-файлами. Её инструменты для извлечения колонок, фильтрации и анализа функционируют невероятно оперативно даже на гигабайтах данн�
Самая явная сфера применения — разработка. Когда разработчики обмениваются кодом или ищут ошибки, обсуждение по номерам строк является максимально конкретным: "Посмотри на проблему в строке 42". Подобным образом, в юридической практике нумерация строк онлайн позволяет оперативно сделать отсылку на конкретный пункт договора или закона. Преподаватели, оценивающие конвертер списка онлайн работы учащихся, могут отмечать на ошибки, отмечая номера строк. Даже писатели и сценаристы применяют эту функцию для обсуждения изменений с редакторами или коллегами.
Существует универсальный инструмент для работы с столбцами в всевозможных форматах?
Да, Miller (mlr) представляет себя именно как такой инструмент. Этот инструмент может читать CSV, JSON, XML-like форматы и выполнять одинаковые операции преобразования, обеспечивая ваши навыки свободными от конкретного формата исходных данн�
Мастерская продуктивности: важнейшие утилиты для работы с колонками
В сфере данных, где информация нередко хранится в табличных форматах и файлах текстового формата, способность оперативно и точно манипулировать колонками становится ключевым навыком. Специалисты, работающие с логами, отчетами, базами данных или конфигами, знают: ручная правка — путь в никуда. Здесь помогают мощные утилиты для работы с колонками, делающие многочасовую работу в операцию нескольких секунд. Такие утилиты служат незаметными двигателями продуктивности в инфраструктуре, анализе и управлении сист�
Текстовые терминальные мастодонты: awk, cut и sed
Основу мастерства составляют классические утилиты командной строки UNIX-родственных систем. Их сила — в универсальности и возможности комбинирования в эффективные конвейеры (pipes).
awk — это целый язык программирования для обработки текста, построчно и поколоночно. С его помощью можно легко извлекать, преобразовывать и анализировать нужные поля. Например, команда awk 'print $3, $1' file.txt выведет третью и первую колонки, поменяв их местами.
cut — специализированная утилита для обработки колонками, созданная для точного вырезания заданных полей или символов. Она идеальна для базовых задач выделения данных из файлов CSV или файлов с фиксированной шириной полей.
sed (stream editor) чаще используется для нахождения и подстановки, но в паре с другими инструментами он крайне полезен для предшествующей или завершающей обработки столбцов, например, очистки от лишних пробелов или замены разделител�