Pandas: как удалить строки, содержащие определенную строку
Вы можете использовать следующий синтаксис для удаления строк, содержащих определенную строку в кадре данных pandas:
df[df["col"].str.contains("this string")== False ]**В этом руководстве объясняется несколько примеров использования этого синтаксиса на практике со следующим кадром данных:
import pandas as pd #create DataFrame df = pd.DataFrame() #view DataFrame df team conference points 0 A East 11 1 A East 8 2 A East 10 3 B West 6 4 B West 6 5 C East 5 Пример 1. Удаление строк, содержащих определенную строку
В следующем коде показано, как удалить все строки в DataFrame, содержащие «A» в столбце команды:
df[df["team"].str.contains("A")== False ] # team conference points #3 B West 6 #4 B West 6 #5 C East 5**Пример 2. Удаление строк, содержащих строку в списке
В следующем коде показано, как удалить все строки в DataFrame, содержащие «A» или «B» в столбце команды:
df[df["team"].str.contains("A|B")== False] # team conference points #5 C East 5**Пример 3. Удаление строк, содержащих неполную строку
В предыдущих примерах мы отбрасывали строки на основе строк, которые точно соответствовали одной или нескольким строкам.
Однако, если мы хотим удалить строки, содержащие неполную строку, мы можем использовать следующий синтаксис:
#identify partial string to look for discard = ["Wes"] #drop rows that contain the partial string "Wes" in the conference column df[~df.conference.str.contains('|'.join(discard))] #team conference points #0 A East 11 #1 A East 8 #2 A East 10 #5 C East 5**Вы можете найти больше руководств по pandas на этой странице .
Как удалить строки в Pandas DataFrame на основе условия
Мы можем использовать следующий синтаксис для удаления строк в pandas DataFrame на основе условия:
Метод 1: удаление строк на основе одного условия
df = df[df.col1 > 8] Метод 2: удаление строк на основе нескольких условий
df = df[(df.col1 > 8) & (df.col2 != 'A')] Примечание.Мы также можем использовать функцию drop() для удаления строк из DataFrame, но эта функция оказалась намного медленнее, чем простое присвоение DataFrame отфильтрованной версии самого себя.
В следующих примерах показано, как использовать этот синтаксис на практике со следующими пандами DataFrame:
import pandas as pd #create DataFrame df = pd.DataFrame() #view DataFrame df team pos assists rebounds 0 A G 5 11 1 A G 7 8 2 A F 7 10 3 A F 9 6 4 B G 12 6 5 B G 9 5 6 B F 9 9 7 B F 4 12 Метод 1: удаление строк на основе одного условия
В следующем коде показано, как удалять строки в DataFrame на основе одного условия:
#drop rows where value in 'assists' column is less than or equal to 8 df = df[df.assists > 8] #view updated DataFrame df team pos assists rebounds 3 A F 9 6 4 B G 12 6 5 B G 9 5 6 B F 9 9 Любая строка, которая имела значение меньше или равное 8 в столбце «помощь», была удалена из DataFrame.
Метод 2: удаление строк на основе нескольких условий
В следующем коде показано, как удалять строки в DataFrame на основе нескольких условий:
#only keep rows where 'assists' is greater than 8 and rebounds is greater than 5 df = df[(df.assists > 8) & (df.rebounds > 5)] #view updated DataFrame df team pos assists rebounds 3 A F 9 6 4 B G 12 6 5 B G 9 5 6 B F 9 9 Единственные строки, которые мы сохранили в DataFrame, были те, в которых значение помощи было больше 8, а значение подбора больше 5.
Обратите внимание, что мы также можем использовать | оператор для применения фильтра «или»:
#only keep rows where 'assists' is greater than 8 or rebounds is greater than 10 df = df[(df.assists > 8) | (df.rebounds > 10)] #view updated DataFrame df team pos assists rebounds 0 A G 5 11 3 A F 9 6 4 B G 12 6 5 B G 9 5 6 B F 9 9 7 B F 4 12 Единственные строки, которые мы сохранили в DataFrame, были те, в которых значение помощи было больше 8 или значение подбора было больше 10.
Все строки, не соответствующие одному из этих условий, удалялись.
Дополнительные ресурсы
В следующих руководствах объясняется, как выполнять другие распространенные операции в pandas:
Удалить строки в DataFrame удовлетворяющие условию
Как удалить строки в Pandas DataFrame, в которых значения в столбце STP == 1005092 ? Подробно: Я занимаюсь обработкой данных в Jupyter notebook : нормальное распределение, спектрограммы, гистограммы и тп. У меня есть 1500 тысячи проиндексированных массивов внутри одного файла (Индекс »STP»). Есть 2 массива которые не подходят по показаниям (явно выделяются из остальных 1498 значений), но проходят тест на нормальное распределение, из-за чего не фильтруются программой. Я пробовал команды data.STP.remove(1005072) , где семизначное число — это индекс массива, но все тщетно. Код:
cols = ['ttt','IK05','IK06','IK07','IK08','IK10','IK11','IK14','IK16','IK20','DA05','DA06','DA07','DA08','DA10','DA11','DA14','DA16', 'DA20', 'GZ1','GZ2','GZ3','GZ4', 'LLS', 'LLD', 'STP'] def lasread (fname): data = pd.read_table(fname, delim_whitespace = True,na_values = '-999.25', index_col=False) return data[cols] data = None for name in las: print(name) if data is None: data = lasread (name) else: data = pd.concat([data, lasread (name)]) ndata = data.STP.as_matrix(columns=None) df = data[cols] df1 = df.groupby('STP') df1.head() dfp = pd.DataFrame() for name, group in df1: k,p=stats.mstats.normaltest(group[5:-5]) dfp[name] = p d=dfp.transpose() d.columns = cols goodindex = d[d.IK20>0.05][d.DA20>0.05].index - отбраковка по СКО **data.STP.remove(1005072)** filtereddata = data[cols][data.STP == -39] for f in goodindex: a = data[cols][data.STP == f] filtereddata = pd.concat([filtereddata, a]) print(filtereddata) Отслеживать
149k 12 12 золотых знаков 59 59 серебряных знаков 132 132 бронзовых знака
задан 18 фев 2018 в 9:59
Георгий Москалев Георгий Москалев
73 1 1 золотой знак 1 1 серебряный знак 5 5 бронзовых знаков
Как очистить данные при помощи Pandas
Очистка данных — это процесс удаления, добавления или изменения данных для их анализа или других задач машинного обучения. Если очистить данные необходимо, начинать всегда следует с именно с этого.
Клайв Хамби сказал: «Данные — это новая нефть». И, как и нефть, они нуждаются в очистке.
Зачем нужна очистка данных?
Данные можно считать одним из самых важных активов компании. Ошибки или неточности в данных могут послужить причиной краха.
Но доступные нам данные ценны не сами по себе. Чтобы сделать их полезными, над ними нужно поработать. Например — удалить ненужные, отформатировать и модифицировать важные. В некоторых случаях для обработки данных приходится что-то добавлять. Скажем, можно добавить столбец языка, основываясь на уже имеющихся данных, или сгенерировать столбец со средним значением, основываясь на данных какого-нибудь другого столбца.
Вступление
Процесс очистки данных многоступенчатый, но не всегда необходимы все этапы.
Чтобы очистить данные, мы будем использовать язык программирования Python и библиотеку Pandas.
Python мы выбрали из-за его выразительности и доступности. Кроме того, многие эксперты выбирают этот язык для задач машинного обучения, поскольку его без проблем может изучить человек, не имеющий бэкграунда в информатике.
Что касается Pandas, это быстрая, мощная, гибкая и простая в использовании библиотека для работы с данными. Она имеет открытый код и очень популярна.
Прежде чем приступить к очистке данных, важно разобраться, какими, собственно, данными вы обладаете. Любые шаги по очистке зависят от того, что собой представляют ваши данные.
Как очистить данные: пошаговое руководство
Чтобы очистить данные, сперва их нужно правильно загрузить. В этом руководстве мы покажем базовые методы загрузки данных из CSV-файла. Больше вариантов чтения CSV вы найдете в документации.
От редакции Pythonist. На нашем сайте есть статья по этой теме — «Чтение файлов в формате CSV в Python».
import pandas as pd # 1. Чтение данных из csv - способ по умолчанию df = pd.read_csv('my_file.csv') # 2. Чтение данных из csv с использованием запятой в качестве разделителя df = pd.read_csv('my_file.csv', delimiter=',') # 3. Чтение данных из csv с использованием запятой в качестве разделителя и без заголовков df = pd.read_csv('my_file.csv', delimiter=',', header=None) # 4. Чтение данных из csv с использованием запятой в качестве разделителя и с пользовательскими заголовками my_headers = ['Id','Name', 'Type', 'Price'] df = pd.read_csv('my_file.csv', delimiter=',', header=0, names=my_headers)
Удаление дублирующихся данных
Чтобы очистить данные, некоторые шаги нужно сделать обязательно. Один из таких шагов — удаление дубликатов. И тут не важно, идет речь о текстовых или числовых данных. Если у вас слишком много дубликатов, это увеличивает время обработки данных.
# 1. Удаление дубликатов и возврат копии датафрейма df = df.drop_duplicates() # 2. Удаление дубликатов в исходном датафрейме df = df.drop_duplicates(inplace=True) # 3. Отбрасываем дубликаты, оставляя первое/последнее вхождение df = df.drop_duplicates(inplace=True, keep='last') # 4. Для нахождения дубликатов учитываем только определенные столбцы df = df.drop_duplicates(subset=['Id', 'Price'], inplace=True, keep='last')
Удаление эмодзи
Зачастую нам не нужны эмодзи в текстовых наборах данных. Мы можем их удалить всего одной строчкой кода. Сниппет, приведенный ниже, будет удалять эмодзи из датафрейма pandas столбец за столбцом. Этот сниппет можно найти на Stackoverflow.
f = df.astype(str).apply(lambda x: x.str.encode('ascii', 'ignore').str.decode('ascii'))
Здесь мы переводим все данные в значения ASCII, а те, которые не могут быть переведены, игнорируем. После перевода в значения ASCII наш код переводит данные обратно. Так мы получаем все наши данные без эмодзи.
Перевод данных в нижний регистр
Весьма вероятно, что вам придется изменить регистр данных. Здесь мы переводим их в нижний. Больше примеров можно найти в документации.
df['Type'] = df['Type'].str.lower() df['Name'] = df['Name'].str.lower()
Удаление множественных пробелов, табов и символов перевода строки
В каждом наборе данных присутствуют ненужные пробелы, табы и переходы на новую строку. Проблема в том, что табы и абзацы хорошо видно, тогда как пробелы можно не заметить, а они повлияют на обучение моделей.
df['Type'] = df['Type'].str.replace('\n', '') df['Type'] = df['Type'].str.replace('\t', ' ') df['Type'] = df['Type'].str.replace(' ', ' ', regex=True) df['Type'] = df['Type'].str.strip()
Первые две строки кода заменяют табы и символы перевода строки на пустые строки. Третья строка ищет два и более пробелов при помощи регулярного выражения, а затем заменяет их на один пробел. Наконец, последняя строка обрезает данные с обоих концов, удаляя пробелы.
Удаление URL-адресов
Для получения данных многие пользуются опросами. Но люди невнимательно заполняют поля, и порой в этих данных встречаются URL-адреса. Регулярное выражение, приведенное ниже, удаляет URL. Вы можете использовать и любой другой regex-паттерн для поиска URL. Здесь найденные адреса заменяются пустой строкой.
df['Type'] = df['Type'].replace(r'http\S+', '', regex=True).replace(r'www\S+', '', regex=True)
Отбрасываем строки с пустыми данными
После выполнения предыдущих шагов по очистке в столбцах остаются пустые данные. От этих пустых строк нужно избавиться, иначе это создаст неопределенность при обучении модели. Чтобы удалить все строки с пустыми данными, мы используем два метода:
df.dropna() df['Type'].astype(bool) df = df[df['Type'].astype(bool)]
Первая строка кода удаляет все строки, содержащие np.nan , pd.NaT и None . Остальные удаляют строки, содержащие символы пустой строки. Второй метод быстрый, но если в столбце будет хотя бы пробел, он не сработает. Это еще одна причина обрезать лишние пробелы заранее.
Дальнейшая обработка данных
Иногда, чтобы очистить данные, бывает нужно отбросить некоторые столбцы, создать новый столбец из существующих данных или удалить строки, не содержащие определенных данных.
import numpy as np df = df.drop(['Id', 'Name'], axis=1) df = df[df['Type'].str.contains('frozen') | df['Type'].str.contains('green')] def detect_price(row): if row['Price'] > 15.50: return 'High' elif row['Price'] > 5.50 and row['Price'] 0.0 and row['Price']
Здесь в третьей строке мы отбрасываем два столбца с именами Id и Name и возвращаем копию нового датафрейма.
Четвертая строка проверяет, содержит ли столбец Type строку frozen или green , затем возвращает True и сохраняет эту строку.
Строки с 7 по 17 создают новый столбец с именем Range на основе данных столбца Price . Используя лямбда-функцию, мы передаем каждую строку в функцию detect_price и возвращаем значение на основе цены. Затем возвращаемое значение присваивается новому столбцу в строке, переданной в функцию. Мы используем np.NaN , чтобы потом иметь возможность удалить эти строки при помощи df.dropna() .
Заключение
Процесс очистки данных — один из многих процессов, связанных с data science. Очищать и обрабатывать данные в каждом отдельном проекте нужно по-разному. В этой статье мы рассмотрели несколько методов очистки из числа самых востребованных. Вы можете создать собственный набор методов или использовать любой из множества существующих. Весь код можно посмотреть по ссылке.