file.readline
При считывании символ новой строки \n присутствует в конце каждой из строк. Его может не быть лишь в последней строке — это позволяет добиться однозначности: если метод возвращает пустую строку, значит достигнут конец файла; если строка содержит лишь символ \n , значит это просто очередная строка.
with open('my_file.txt') as f:
f.readline() # 'The first line.\n'
f.readline() # '\n'
f.readline() # 'The last line.\n'
f.readline() # ''
Для упрощения можно считывать строки из файла пройдя по его объекту в цикле:
with open('my_file.txt') as f:
for line in f:
print(line)
Такой подход эффективен с точки зрения расходования памяти, быстр, и выглядит хорошо.
- Для считывания файла кусками используйте read().
- Для считывания всех строк разом используйте readlines().
Метод file.readlines() в Python, получает список строк файла
Читает файл целиком, получает список строк из файла
Синтаксис:
file.readlines([sizehint])
Параметры:
- file — объект файла
- sizehint — int , количество байтов
Возвращаемое значение:
- списокстрок в текстовом режиме или байтовых объектов в двоичном режиме.
Описание:
Метод файла file.readlines() читает файловый объект file построчно, пока не достигнет конца файла EOF и возвращает список, содержащий строки или байтовые объекты файла в зависимости от режима, в котором открыт файл функцией open() . Конечный символ новой строки \n сохраняется в строке.
Если присутствует необязательный аргумент sizehint , то читаются целые строки, составляющие приблизительно sizehint байт (округляется до внутреннего размера буфера).
Пустая строка возвращается только по достижении конца файла, т. е. EOF встречается немедленно.
Помните, что файл может быть слишком большим для того чтобы разместиться полностью в оперативной памяти. В этом случае лучше считывать и обрабатывать файл кусками.
Примеры получения списка строк файла.
>>> text = 'This is 1st line\nThis is 2nd line\nThis is 3rd line\n' >>> fp = open('foo.txt', 'w+') >>> fp.write(text) # 51 >>> fp.seek(0) # 0 >>> fp.readlines() # ['This is 1st line\n', 'This is 2nd line\n', 'This is 3rd line\n'] >>> fp.seek(0) # 0 >>> fp.readlines(15) # ['This is 1st line\n'] >>> fp.readlines(20) # ['This is 2nd line\n', 'This is 3rd line\n'] >>> fp.readlines(20) # [] >>> fp.close()
Внимание! Функцию open() предпочтительнее использовать с оператором контекстного менеджера with . При использовании оператора with файл закрывать не нужно:
text = 'This is 1st line\nThis is 2nd line\nThis is 3rd line\n' # пишем with open('foo.txt', 'w') as fp: fp.write(text) #51 # читаем построчно с помощью `fp.readlines()` with open('foo.txt', 'r') as fp: data = fp.readlines() print(data) # ['This is 1st line\n', 'This is 2nd line\n', 'This is 3rd line\n'] # читаем построчно с помощью `for` with open('foo.txt', 'r') as fp: for line in fp: print(line.rstrip('\n')) # This is 1st line # This is 2nd line # This is 3rd line
- ОБЗОРНАЯ СТРАНИЦА РАЗДЕЛА
- Метод file.close(), закрывает файл
- Метод file.flush(), очищает буфер чтения
- Метод file.fileno(), получает файловый дескриптор
- Метод file.isatty(), проверяет связь с терминалом
- Метод file.read(), читает весь файл или кусками
- Метод file.readline(), читает файл построчно
- Метод file.readlines(), получает список строк файла
- Метод file.seek(), перемещает указатель в файле
- Метод file.tell(), позиция указателя в файле
- Метод file.truncate(), усекает размер файла
- Метод file.write(), пишет данные в файл
- Метод file.writelines(), пишет список строк в файл
Процедуры Read и ReadLn
Процедуры Read и ReadLn выполняют чтение информации из устройства стандартного ввода. В консольных приложениях этим устройством может быть, например, клавиатура (точнее — введённые с клавиатуры данные), в графических приложениях — файл на диске.
То есть эти процедуры являются “антиподами” процедур Write и WriteLn — выполняют противоположные им действия.
Процедуры Read и ReadLn выполняют схожие действия. Основное отличие между ними следующее: процедура ReadLn после завершения ввода выполняет перевод строки (а в случае с файлами читает файл строка за строкой). А процедура Read читает данные подряд — без перевода строки.
В Турбо Паскале я не помню такого (может просто забыл), но в FreePascal ввод с клавиатуры можно выполнять только процедурой ReadLn, а процедура Read почему-то не работает.
Синтаксис для вывода на консоль:
procedure Read(Args: Arguments);
Синтаксис для вывода в файл:
procedure Read(var F: Text; Args: Arguments);
Аргументами (Arguments) могут быть переменные разных типов. Если используется несколько переменных, то они перечисляются через запятую. Например:
var x, y : integer; z : real; str : string; begin WriteLn('Введите три целых числа через пробел:'); ReadLn(x, y, z); WriteLn('Вы ввели: ', x, ', ', y, ', ', z:0:2); ReadLn(str); WriteLn(str + str); ReadLn; end.
Как уже было сказано, при вводе с консоли эти переменные могут быть разных типов. Но, в отличие от процедур Write/WriteLn использовать константы не допускается (и это логично))).
ВАЖНО!
При вводе данных следует учитывать, что в случае, если введённое пользователем значение имеет тип, отличный от типа переменной, в которую вводится это значение, то возникнет ошибка времени выполнения. Если, например, в указанном выше примере пользователь в качестве первого числа введёт вещественное значение (такое как 3.14), то программа завершится аварийно, так как переменная х имеет целый тип.
При чтении из файла можно работать как с типизированными файлами, так и с текстовыми файлами.
Если F (см. синтаксис) — это типизированный файл, то переменные, передаваемые как параметры (Args) должны иметь такой же тип, какой указан для файла F. Нетипизированные файлы использовать не допускается. Если параметр F не указан, то предполагается, что чтение выполняется из стандартного устройства ввода.
Если файл F имеет тип Text, то переменные должны иметь тип Char, Integer, Real или String.
Если при чтении файла нет данных, доступных для чтения, то в переменную F возвращается пустое значение (0 — для порядковых типов, пустая строка — для строковых).
В случае использования процедуры ReadLn, то есть при построковом чтении данных, конец строки обозначается определённой последовательностью символов (какими именно — зависит от операционной системы, для DOS/Windows это два символа — #10 и #13).
Маркер конца строки не является частью прочитанной строки и игнорируется.
Если во время выполнения процедуры Read/ReadLn происходит ошибка, то генерируется ошибка времени выполнения. Такое поведение не всегда приемлемо (например, во время чтения файла). Поэтому в каких-то случаях генерацию ошибок отключают. Сделать это можно с помощью директивы компилятора .
В разных отладочных и учебных программах процедуру ReadLn часто используют для того, чтобы консольное приложение не закрылось автоматически после выполнения. Для этого в конце программы просто записывают (как в примере выше):
То есть просто имя процедуры без параметров. В этом случае программа будет ожидать нажатия клавиши ENTER. Следовательно, программа не завершится, пока не будет нажата клавиша ENTER, и это позволит увидеть результат работы программы. Разумеется, в операционной системе DOS (и подобных) такой проблемы нет. Это актуально только для Windows.
Текстовая обработка в языке Python. Подсказки для начинающих
Как и ряд других популярных скриптовых языков, Python является великолепным инструментом для сканирования и манипуляций с текстовыми данными. Эта статья суммирует возможности текстовой обработки языка Python для тех программистов, которые являются новичками в программировании на языке Python. Эта статья объясняет некоторые основные понятия регулярных выражений и предлагает советы, когда стоит (а когда — не стоит) использовать регулярные выражения при обработке текста.
Что такое Python?
Python — это свободно доступный, интерпретируемый язык очень высокого уровня, разработанный Гвидо ван Россумом. Он объединяет ясный синтаксис с мощной (но необязательной) объектно-ориентированной семантикой. Python широко распространен и высокопортабелен.
Строки — неизменяемые последовательности
Как и в большинстве высокоуровневых языков программирования, строки переменной длины являются базовым типом в языке Python. Python выделяет область памяти для хранения строк (или других значений) «за кулисами», там, где программисту не нужно особенно задумываться об этом. Кроме того, Python имеет несколько возможностей управления строками, отсутствующих в других высокоуровневых языках.
В языке Python строки представляют собой «неизменяемые последовательности» («immutable sequences»). Программа может обращаться к элементам или подпоследовательностям строк как к любым последовательностям, несмотря на то, что строки, как и кортежи (tuples), не могут быть изменены непосредственно «на месте». Python обращается к подпоследовательностям с помощью гибкой операции «среза», формат которой напоминает задание диапазона строк и столбцов в электронной таблице. Приведенная ниже интерактивная сессия иллюстрирует использование строк и срезов.
>>> s = «mary has a little lamb»
>>> s[0] # индекс с отсчетом от нуля
‘m’
>>> s[3] = ‘x’ # непосредственное изменение элемента не удается
Traceback (innermost last):
File «», line 1, in ?
TypeError: object doesn’t support item assignment
>>> s[11:18] # ‘вырезать’ подпоследовательность
‘little ‘
>>> s[:4] # пустое начало среза предполагает нуль
‘mary’
>>> s[4] # индекс 4 не включен в срез [:4]
‘ ‘
>>> s[5:-5] # может использоваться индекс «с конца» с отрицательными числами
‘had a little’
>>> s[:5]+s[5:] # соединение начала и конца среза
‘mary had a little lamb’
Другая мощная строковая операция — просто ключевое слово in. Оно предлагает две интуитивные и полезные конструкции:
>>> s = «mary had a little lamb»
>>> for c in s[11:18]: print c, # печать каждого символа в срезе
.
l i t t l e
>>> if ‘x’ in s: print ‘got x’ # проверка на вхождение символа
.
>>> if ‘y’ in s: print ‘got y’ # проверка на вхождение символа
.
got y
Есть несколько способов написания строковых констант в языке Python. Вы можете использовать как одинарные, так и двойные кавычки при условии, пока символы открытия и закрытия соответствуют друг другу, и существует ряд других полезных вариантов. Если ваша строка содержит переводы строки или вложенные кавычки, тройные кавычки предоставляют удобный способ такого рода строк, как это сделано в следующем примере:
>>> s2 = «»»Mary had a little lamb
. its fleece was white as snow
. and everywhere that Mary went
. the lamb was sure to go»»»
>>> print s2
Mary had a little lamb
its fleece was white as snow
and everywhere that Mary went
the lamb was sure to go
Как одинарные, так и тройные кавычки могут предваряться буквой «r» для обозначения того, что специальные символы регулярных выражений не должны интерпретироваться Python. Например:
>>> s3 = «this \n and \n that»
>>> print s3
this
and
that
>>> s4 = r»this \n and \n that»
>>> print s4
this \n and \n that
В «r-строках» обратный слэш, который в иных случаях может служить для задания специального символа, обрабатывается как обычный обратный слэш. Это объясняется далее при рассмотрении регулярных выражений.
Файлы и строковые переменные
Когда мы говорим «текстовая обработка», мы обычно подразумеваем обработку содержимого файла. На языке Python не составляет труда считать содержимое текстового файла в строковые переменные, где этим содержимым можно манипулировать. Файловые объекты обеспечивают три метода чтения: .read(), .readline(), and .readlines(). Каждый из этих методов может принимать аргумент для ограничения объема данных, считываемых за один раз, однако в основном они используются без аргумента. .read() считывает весь файл за один раз, и обычно используется для помещения содержимого файла в строковую переменную. Хотя .read() дает наиболее прямое строковое представление содержимого файла, он неудобен для последовательной строчно-ориентированной обработки файла, к тому же это невозможно, если размер файла превышает объем имеющейся памяти.
.readline() и .readlines() очень похожи. И та и другая используются в конструкциях наподобие следующей:
fh = open(‘c:\\autoexec.bat’)
for line in fh.readlines():
print line
Различие между .readline() и .readlines() в том, что последняя, как и .read(), считывает весь файл за один раз. .readlines() автоматически парсит содержимое файла в список строк, который может быть обработан с помощью конструкции языка Python for . in .
С другой стороны, .readline() считывает только одну строку за раз, и в целом работает гораздо медленнее, чем .readlines(). .readline() следует использовать, только если памяти не хватает для считывания всего файла за один раз.
Если вы используете стандартный модуль, работающий с файлами, вы можете превратить строку в «виртуальный файл» с помощью модуля cStringIO (если требуется создание производных классов, можно использовать StringIO, но начинающим это требуется редко).
>>> import cStringIO
>>> fh = cStringIO.StringIO()
>>> fh.write(«mary had a little lamb»)
>>> fh.getvalue()
‘mary had a little lamb’
>>> fh.seek(5)
>>> fh.write(‘ATE’)
>>> fh.getvalue()
‘mary ATE a little lamb’
Не забывайте, однако, что, в отличие от настоящего файла, «виртуальный файл», сформированный cStringIO — временный. Он исчезнет, когда программа завершится, если вы не предпримете каких-либо шагов, чтобы его сохранить (например, запишете его в реальный файл или воспользуетесь модулем shelve либо базой данных).
Стандартный модуль: string
Модуль string, возможно, в целом наиболее полезный модуль стандартных дистрибутивов языка Python 1.5.*. На самом деле похоже, что многие из возможностей модуля string будут существовать в качестве встроенных строковых методов в Python 1.6 и выше (подробности еще не были опубликованы на момент написания этой статьи). Наиболее вероятно, что любая программа, выполняющая обработку текста, должна начинаться со строки:
Основное правило состоит в том, что если вы можете решить задачу с помощью модуля string, это правильный способ ее решения. В отличие от re (регулярных выражений), функции string в целом гораздо быстрее и в большинстве случаев проще для понимания и использования. Сторонние модули языка Python, включая и некоторые быстрые, написанные на С расширения, предназначены для специализированных задач, однако переносимость и простота, тем не менее, определяют привязку к string везде, где только возможно. Есть и исключения, однако не так много, как вы можете подумать, имея опыт использования других языков.
Модуль string содержит несколько типов инструментов, таких как функции, методы и классы. Он также содержит наиболее общие строковые константы. Например:
>>> import string
>>> string.whitespace
‘\011\012\013\014\015 ‘
>>> string.uppercase
‘ABCDEFGHIJKLMNOPQRSTUVWXYZ’
Хотя вы можете написать эти константы сами, версии string более или менее гарантируют, что ваши константы будут правильны с точки зрения национального языка и платформы, на которой выполняется ваш скрипт на Python.
string также включает функции, преобразующие строки обычными способами (которые вы можете объединить для получения некоторых необычных преобразований). Например:
>>> import string
>>> s = «mary had a little lamb»
>>> string.capwords(s)
‘Mary Had A Little Lamb’
>>> string.replace(s, ‘little’, ‘fercious’)
‘mary had a ferocious lamb’
Существут множество других преобразований, не проиллюстрированных здесь особо; вы можете найти подробности в руководстве по языку Python. Кроме того, вы можете пользоваться функциями string для получения информации о таких атрибутах строки, как длина или позиции подстроки, например:
>>> import string
>>> s = «mary had a little lamb»
>>> string.find(s, ‘had’)
5
>>> string.count(s, ‘a’)
4
И наконец, string предоставляет очень характерную для языка Python особенность. Пара .split() и .join() обеспечивает быстрый способ преобразования строк в кортежи и наоборот, что вы найдете весьма полезным. Реализуется это просто:
>>> import string
>>> s = «mary had a little lamb»
>>> L = string.split(s)
>>> L
[‘mary’, ‘had’, ‘a’, ‘little’, ‘lamb’],br> >>> string.join(L, «-«)
‘mary-had-a-little-lamb’
Безусловно, в реальной жизни вы скорее всего будете делать со списком что-то еще, кроме немедленного объединения его вызовом .join() (возможно, что-то, включающее знакомую конструкцию for. in. ).
Стандартный модуль: re
Модуль re делает устаревшими модули regex и regsub, которые использовались в старых кодах на языке Python. Хотя в использовании regex сохраняются небольшие преимущества, они незначительны и не стоят того, чтобы использовать его в в новом коде. Устаревшие модули скорее всего будут исключены из новых версий Python, и в 1.6, возможно, будет включен усовершенствованный модуль re. Так что пользуйтесь re для регулярных выражений.
Регулярные выражения сложны. Можно написать книгу на эту тему, и это на самом деле многие сделали! Эта статья постарается ухватить «гештальт» (базовую суть) регулярных выражений и позволит читателю извлечь ее.
Регулярное выражение — это краткий путь к описанию образцов (pattern), которые могут встретиться в тексте. Встречаются ли некие символы? В определенном ли порядке? Повторяются ли участки текста данное число раз? Исключено ли совпадение других участков? Концептуально это не так уж непохоже на то, как вы интуитивно описываете понятие образца на естественном языке. Хитрость состоит в кодировке этого описания в компактный синтаксис регулярных выражений.
Рассматривайте регулярное выражение как отдельную проблему программирования, несмотря на то, что в нем могут быть задействованы только одна-две строки кода; эти строки, в сущности, составляют небольшую программу.
Начните с самых маленьких фрагментов. На нижнем уровне любое регулярное выражение будет включать сопоставление с конкретными «символьными классами» («character classes»). Простейший символьный класс представляет собой отдельный символ, который просто входит в образец как литерал. Вам часто может понадобиться сопоставить класс символов. Вы можете обозначить класс, заключив его в квадратные скобки; внутри скобок вы можете поместить как набор, так и диапазоны символов, которые обозначаются тире. Кроме того, вы можете использовать различные именованные символьные классы, корректные для вашей платформы и национального языка. Несколько примеров:
>>> import re
>>> s = «mary had a little lamb»
>>> if re.search(«m», s): print «Match!» # char literal
.
Match!
>>> if re.search(«[@A-Z]», s): print «Match!» # char class
. # match either at-sign or capital letter
.
>>> if re.search(«\d», s): print «Match!» # digits class
.
Вы можете представлять символьные классы в виде «атомов» регулярных выражений и скорее всего захотите сгруппировать эти атомы в «молекулы». Это можно сделать с помощью комбинации группировки и повторения. Группировка обозначается круглыми скобками: каждое из подвыражений, содержащихся в скобках, рассматривается как атомарное для последующей группировки или повторения. Повторение отмечается одним из следующих операторов: «*» означающего «нуль или более»; «+» означающего «один или более»; «?» означающего «нуль или один». В качестве примера взгляните на выражение:
Чтобы строка соответствовала этому выражению, она должна содержать нечто, начинающееся с «ABC» и заканчивающееся на «XYZ» — но что должно быть в середине? Средним подвыражением является ([d-w]*\d\d?), сопровождаемое оператором «один или много». Таким образом, середина строки должна состоять из одного (или двух, или одной тысячи) фрагментов, соответствующих подвыражению в скобках. Строка «ABCXYZ» ему не соответствует, так как не содержит необходимых элементов в середине.
Что же представляет собой это внутреннее подвыражение? Оно начинается с нуля или более букв в интервале от d до w. Важно отметить, что нуль букв представляет правильное сопоставление, которое может быть контринтуитивным, если вы воспользуетесь для его описания словом «несколько». В следующей строке должна быть в точности одна цифра; затем ни одной или одна дополнительная цифра. (Первый цифровой символьный класс не имеет оператора повторения, тем самым просто встречается один раз. Второй цифровой символьный класс имеет оператор «?»). Короче говоря, все это подразумевает «одну или несколько цифр». Некоторые удовлетворяющие регулярному выражению строки выглядят так:
ABC1234567890XYZ
ABCd12e1f37g3XYZ
ABC1XYZ
А вот несколько выражений, которые не сопоставляются c этим выражением:
ABC123456789dXYZ
ABCdefghijklmnopqrstuvwXYZ
ABcd12e1f37g3XYZ
ABC12345%67890XYZ
ABCD12E1F37G3XYZ
Потребуется некоторая практика, чтобы научиться созданию и пониманию регулярных выражений. Однако как только вы освоите регулярные выражения, в вашем распоряжении окажется мощная выразительная сила. Все это говорит о том, что часто проще использовать регулярные выражения для решения проблемы, которая вполне может быть решена и с помощью более примитивных (и быстрых) инструментов, например модуля string.
Ресурсы:
Почитайте об mxTextTools, быстрой библиотеке обработки текста для Python.
A regular expressions how-to документ на www.python.org.
Автор: Дэйвид Мерц