Как написать свой язык программирования на python

С чего начать программирование на Python

Python это мощный и высокоуровневый объектно-ориентированный язык программирования, созданный Гвидо ван Россумом. Отличается простым в использовании синтаксисом, что делает его идеальным языком для тех, кто решил впервые научиться программированию.

Перед вами подробное руководство по началу работы с Python, в котором также найдете ответы на вопросы о том, почему нужно изучить его и как его учить. Однако, если вы знаете другие языки программирования и хотите максимально быстро начать работу с Python, посмотрите уроки Python для начинающих.

Что такое программирование на Python?

Перед началом познакомиться с самим языком.
Python — язык общего назначения. Имеет приложения разных направлений: веб-разработки (например, Django и Bottle ), научных и математических вычислений ( Orange, SymPy, NumPy ) для настольных графических пользовательских интерфейсов ( Pygame, Panda3D ).

Синтаксис языка простой, а длина кода относительно короткая. Работать на Python приятно, потому что он позволяет решать задачу, а не фокусироваться на сложном синтаксисе.

История Python

Python старый язык, созданный Гвидо Ван Россумом. Разработка началась в конце 1980-х., и в феврале 1991 года вышла первая версия.

Зачем создан Python?
В конце 1980-ых, Гвидо Ван Россум работал над группой операционных систем Amoeba. Он хотел использовать интерпретируемый язык, такой как ABC (у ABC простой и доступный в понимании синтаксис), который мог бы получить доступ к системным вызовам Amoeba. Поэтому он решил создать масштабируемый язык. Это привело к созданию нового языка, у которого позже появилось название Python.

Почему выбрали Python
Нет. Он не назван в честь опасной змеи. Россум был фанатом комедийного сериала в конце 70-х. Название “Python” было взято из этого же сериала “Monty Python’s Flying Circus” (Летающий цирк Монти Пайтона).

Дата выпуска версий языка

Версия	Дата выпуска
Python 1.0 (первый стандартный выпуск) Python 1.6 (последняя выпущенная версия)	Январь 1994 Сентябрь 5, 2000
Python 2.0 (представлены списки) Python 2.7 (последняя выпущенная версия)	Октябрь 16, 2000 Июль 3, 2010
Python 3.0 (Сделан акцент на удаление дублирующих конструкций и модулей). Python 3.10 (Последняя обновленная версия)	Апрель 4, 2021 настоящее время

Особенности программирования на Python

1. Простой язык, легкий и доступный в изучении
   У Python читаемый синтаксис. Гораздо проще читать и писать программы на Python по сравнению с другими языками, такими как: C++, Java, C# . Python делает программирование интересным и позволяет сфокусироваться на решении, а не синтаксисе.
   Для новичков, отличный выбором — начать изучение с Python.
2. Бесплатный и с открытым кодом
   Можно свободно использовать и распространять программное обеспечение, написанное на Python, даже для коммерческого использования. Вносить изменения в исходный код Python.
   Над Python работает большое сообщество, постоянно совершенствуя язык в каждой новой версии.
3. Портативность
   Перемещайте и запускайте программы на Python из одной платформы на другую без каких-либо изменений.
   Код работает практически на всех платформах, включая Windows, Mac OS X и Linux.
4. Масштабируемый и встраиваемый
   Предположим, что приложение требует повышения производительности. Вы можете с легкостью комбинировать фрагменты кода на C/C++ и других языках вместе с кодом Python.
   Это повысит производительность приложения, а также дает возможность написания скриптов, создание которых на других языках требует больше настроек и времени.
5. Высокоуровневый, интерпретируемый язык
   В отличии от C/C++ , вам не нужно беспокоиться о таких сложных задачах, как “сборка мусора” или управление памятью.
   Так же, когда вы запускаете код Python, он автоматически преобразует ваш код в язык, который понимает компьютер. Не нужно думать об операциях более низкого уровня.
6. Стандартные библиотеки для решения общих задач
   Python укомплектован рядом стандартных библиотек, что облегчает жизнь программиста, так как нет необходимости писать весь код самостоятельно. Например, что бы подключить базу данных MySQL на Web сервер, используйте библиотеку MySQLdb , добавляя ее строкой import MySQLdb .
   Стандартные библиотеки в Python протестированы и используются сотнями людей. Поэтому будьте уверенны, они не нарушит работу приложения.
7. Объектно-ориентированный
   В Python все объект. Объектно-ориентированное программирование (ООП) помогает решить сложную проблему интуитивно.
   Разделяйте сложные задачи на маленькие части, создавая объекты.

Приложения на Python

Веб-приложения
Создание масштабируемых веб-приложений (Web Apps), с помощью фреймворков и CMS (Система управления содержимым), созданных на Python. Популярные платформы для создания Web приложений: Django, Flask, Pyramid, Plone, Django CMS .

Сайты, такие как Mozilla, Reddit, Instagram и PBS написаны на Python.

Научные и цифровые вычисления
У Python много библиотек для научных и математических вычислений. Есть библиотеки, такие как: SciPy и NumPy которые используются для общих вычислений. И специальные библиотеки, такие как: EarthPy для науки о Земле, AstroPy для астрономии и так далее.

Также, язык часто используется в машинном обучении, анализе и сборе данных.

Создание прототипов программного обеспечения
Python медленный, в сравнении с компилированными языками, такими как C++ и Java. Это не очень практичный выбор, если ресурсы ограничены и при этом нужна максимальная эффективность.

Тем не менее, Python — прекрасный язык для создания прототипов. Используйте Pygame (библиотека для создания игр), чтобы создать для начала прототип игры. Если прототип понравился, используйте язык C++ для создания реальной игры.

Простой язык для изучения программирования
Python используется для обучения программированию детей и новичков.

Это хороший язык с множеством функций и возможностей. Тем не менее это один из самых простых языков для изучения из-за простого в использовании синтаксиса.

4 причины выбрать Python в качестве первого языка

1. Простой элегантный синтаксис
   Программировать на Python интересно. Легче понять и написать код на Python. Почему? Синтаксис кажется естественным и простым. Возьмите этот код для примера:
   a = 2
   b = 3
   sum = a + b
   print(sum)
   Даже если вы не программировали ранее, вы с легкостью поймете, что эта программа добавляет две цифры и выводит их.
2. Не слишком строгий
   Не нужно определять тип переменной в Python. Нет необходимости добавлять “;” в конце строки.
   Python принуждает следовать методам написания читаемого кода (например, одинаковым отступам). Эти мелочи могут значительно облегчить обучение новичкам.
3. Выразительность языка
   Python позволяет писать программы с большей функциональностью и с меньшим количеством строк кода. Вот ссылка на исходный код игры Tic-tac-toe с графическим интерфейсом и противником в лице смарт-компьютера менее чем на 500 строк кода. Это просто пример. Вы будете удивлены, как много можно сделать с Python, как только изучите основы языка.
4. Большое сообщество и поддержка
   У Python большое сообщество с огромной поддержкой. Множество активных форумов в интернете, которые помогут, когда возникают вопросы. Вот некоторые из них:
   • Python на Хабре
   • Вопросы о Python на Хабре
   • Вопросы о Python на Stack Overflow

Первая программа на Python

Часто программа, которая называется “Hello, World!” используется для демонстрации языка программирования новичкам. “Hello, World!” это простая программа, которая выводит “Hello, World!”

Python — один из простейших языков для изучения и создание программы “Hello, World!” такое же простое, введите print(«Hello, World!») . Поэтому, мы напишем другую программу.

Программа сложения двух чисел

 
 
# Сложите два числа num1 = 3 num2 = 5 sum = num1 + num2 print(sum)
Как работает эта программа?
Строка 1: # Сложите два числа 
Строка, начинающаяся с # в программировании на Python — комментарий.
Комментарии используются для описания цели строки кода. Это поможет вам, так же как и другим программистам понять смысл кода. Они игнорируются компиляторами и интерпретаторами.
Строка 2: num1 = 3 
Здесь, num1 — переменная. Вы можете сохранять значение в переменной. В этом случае, 3 сохраняется в переменной.
Строка 3: num2 = 5 
Аналогично, 5 сохраняется в переменной num2 .
Строка 4: sum = num1 + num2 
Переменная num2 прибавляется к num1 с помощью оператора + . Результат сложения сохраняется в другой переменной sum .
Строка 5: print(sum) 
Функция print() выводит результат на экран. В нашем случае, она выводит на экран 8.
Важные вещи, о которых следует помнить.
Для представления инструкции в Python, используется новая строка (enter). Использование “;” в конце утверждения не требуется (в отличии C/C++, JavaScript, PHP ).
Вместо фигурных скобок < >, используются отступы (4 пробела) для перехода на новый блок.
im_a_parent: im_a_child: im_a_grand_child im_another_child: im_another_grand_child 
Научитесь самостоятельно программировать на Python
Изучите Python с помощью PythonRU.com
PythonRu предлагает уроки и примеры, которые помогут в обучении программированию с нуля.
Наши материалы предназначены для начинающих программистов, которые владеют базовыми знаниями о программировании в целом. В каждом учебном пособии описаны примеры и подробное объяснение.
Также рекомендуем посмотреть наши примеры кода. Как только вы поймете как работает библиотека, попробуйте написать что-то новое. Это лучший способ научиться программированию.
Рекомендуемые книги
Если вы настроены серьезно обучаться программированию, следует обзавестись хорошей книгой.
Чтение книги по программированию требует много терпения и времени. Но вы получите общую картину концепций программирования в книге, которую, возможно, не найдете в другом месте.


Обложка
Описание





Изучаем Python купить и скачать
Третье издание «Изучаем Python» – это учебник, написанный доступным языком, рассчитанный на индивидуальную скорость обучения. В книге представлены основные типы объектов в языке Python, порядок их создания и работы с ними, а также функции как основной процедурный элемент языка.



Программирование на Python 3 купить и скачать
Автор начинает с описания ключевых элементов Python, знание которых необходимо в качестве базовых понятий. Затем обсуждаются более сложные темы, поданные так, чтобы читатель мог постепенно наращивать свой опыт: распределение вычислительной нагрузки между несколькими процессами и потоками, использование сложных типов данных, управляющих структур и функций, создание приложений для работы с базами данных SQL и с файлами DBM.



Python и анализ данных купить и скачать
Книгу можно рассматривать как современное практическое введение в разработку научных приложений на Python, ориентированных на обработку данных. Описаны те части языка Python и библиотеки для него, которые необходимы для эффективного решения широкого круга аналитических задач: интерактивная оболочка IPython, библиотеки NumPy и pandas, библиотека для визуализации данных matplotlib и др.



Python для детей и родителей купить и скачать
Научите своих детей программировать уже сейчас с помощью этой книги! В книге представлен язык Python, один из самых популярных и простых. Вы найдете здесь много упражнений – полезных, интересных и забавных, поэтому ваш ребенок не заскучает. Материал написан доступно и просто, поэтому ему не составит труда освоить азы программирования.



Python — потрясающий язык. Синтаксис настолько прост, и длина кода настолько коротка, что делает его понятным и легким в написании.
Если вы только начинаете программировать, Python— отличный выбор. Вы будете удивлены тому, сколько задач решает Python как только изучите его основы.
Легко упустить из виду факт, что Python — мощный язык. Хорош для обучения программированию. Воплотите свою идею, создайте игру или начните с Data Science, Python поможет во всем, чтобы вы не затеяли.
С чего начать изучение Python?

Python — высокоуровневый язык с динамической типизацией. Это значит, что код на нем прост для чтения и понимания, а разработка быстрая, так как Python сам классифицирует вводимые данные.
Посмотрите, как можно вывести на экран фразу «Hello, World!» в одну строчку с помощью одной понятной команды:
print('Hello, World!') 
И как это можно сделать с помощью языка Java:
class HelloWorld  public static void main(String[] args)  System.out.println("Hello World!"); > > 
Python также известен своей философией — правилами, которые разработчики стараются соблюдать при написании кода. Они сформулированы в списке из 19 пунктов под названием «The Zen of Python» . Вот несколько правил из этого списка:

Явное лучше, чем неявное
Простое лучше, чем сложное
Читаемость имеет значение.

У Python есть более сотни библиотек кода — наборов инструментов для решения программистских задач. Также есть много фреймворков: возможно, вы что-то слышали о Django, Pyramid или Flask. Каждый из этих инструментов можно освоить, чтобы выйти на новый уровень программирования на Python.
Python применяют для создания и поддержания своих продуктов такие компании, как Google, Yandex, Spotify, Microsoft, Pinterest, Quora, Intel и другие.
Профессия «Python-разработчик»

Изучите Python — язык с простым и понятным синтаксисом
Научитесь создавать полноценные сайты и веб-приложения
Освойте популярный фреймворк Python — Django
Разберитесь в базах данных и научитесь управлять ими с помощью SQL

Где используется Python
Python — самый популярный язык программирования по данным индекса TIOBE на ноябрь 2023 года. Востребованность Python можно объяснить тем, что его применяют во многих сферах: веб-разработка (чаще всего серверная часть), машинное обучение и анализ больших данных.
Также на Python создают:

Видеоигры
Десктопные приложения
3D-графику
Программ для обработки изображений, видео и аудио.

В сфере мобильной разработки язык Python используют очень редко.
Python в Data Science
Python — главный язык программирования для работы с анализом данных. Python любят в Big Data за счет гибкости и скорости освоения.
В анализе данных чаще работают математики, финансисты или даже маркетологи, а не «чистые» программисты. Им гораздо проще работать с Python, чем с более сложными Java или C.
За счет встроенного интерпретатора этот язык программирования позволяет быстро проверять гипотезы и моментально получать результаты.
Тем, кто хочет работать в Data Science, потребуется выучить основы Python и несколько профильных библиотек:

Pandas — нужна для сбора и структурирования данных. Библиотека умеет извлекать информацию из баз данных и таблиц, превращая разрозненные объекты в индексированные массивы. Содержит инструменты визуализации.
NumPy — используют для расчетов. Позволяет индексировать, умножать и добавлять массивы, разбивать их на секции и менять форму. Есть инструменты для вычисления по формулам линейной алгебры.
Matplotlib — для визуализации данных. Помогает создавать графики, диаграммы, 2D-фигуры и встраивать их в большинство популярных приложений и сервисов.
Statsmodels — для статистического анализа. Помогает использовать в Python формулы из языка R. С ее помощью проводят одномерный и двумерный анализ данных, решают сложные математические задачи и занимаются машинным обучением.

Читайте также:
Что нужно, чтобы начать программировать на Python
Расскажем об основных особенностях этого языка и о том минимуме, который нужно знать, чтобы написать свое первое приложение на Python.
Установить IDE
Программисты пишут код в интегрированной среде разработки — IDE, которая включает в себя редактор кода, инструменты для его выполнения и отладки, а также систему контроля версий.
Среда разработки помогает разработчику ориентироваться в коде и искать в нем ошибки. Самые популярные IDE для Python: Python IDLE, PyCharm, Spyder, Thonny.
Еще можно установить редактор кода — это более легковесная программа, аналог текстовых редакторов. Она сохраняет проекты в правильном расширении, автоматически проверяет отступы в коде и подсвечивает синтаксис. Самые популярные редакторы кода для Python: Visual Studio Code, Sublime Text, Vim.
Также существует онлайн-IDE, с помощью которой можно писать код на Python прямо в браузере. Replit подойдет для первого знакомства с Python и создания небольших проектов.
Изучить базовый синтаксис
Синтаксис — это набор правил, по которым разработчики пишут код на любом языке программирования. Основа, без которой невозможно программировать.
Многие хотят начинать изучение программирования с Python, потому что у этого языка достаточно простой синтаксис. Код на нем можно понять без особых знаний за счет лаконичности языковых конструкций.
Вот примерный список тем, которые нужно изучить и понять перед тем, как начать кодить на Python:

Строки — как их выводить, извлекать из них символы.
Переменные и типы — для чего они нужны, как облегчают разработку.
Операторы — какие они бывают в Python и как работают.
Условия — что такое условные конструкции и как их задавать.
Циклы — для чего нужны и как использовать.
Структуры данных — для чего используют, сколько всего структур и какие они бывают.
Функции — в чем особенность, как их вызывать и где искать документацию по ним.
Классы и объекты — что это такое и как они обозначаются.


Изучите основы Python на подготовительном курсе Хекслета В программу включено много теоретических и практических заданий, которые выполняются в браузерном тренажере. Вы изучите основные понятия программирования, научитесь мыслить как разработчики, исправлять ошибки в коде, а еще создадите свою полноценную программу.

Давайте разберем пару базовых тем.
Списки
Список — это структура данных, которая используется для хранения коллекции элементов в упорядоченной последовательности. Эти элементы могут быть разного типа: числа, строки, другие списки и так далее. Список создается с использованием квадратных скобок [] , а элементы внутри списка разделяются запятыми.
Когда мы создаем список, в памяти компьютера появляется область — контейнер, в котором хранятся только ссылки на различные элементы данных.
Содержимое списка не статично, его можно изменять. Этим он принципиально отличается от строки или числа. Элементы списка можно удалять, добавлять и заменять.
Вот пример списка:
a = ['dog', 16, True] 
Наш список содержит строку, число и булево значение.
Со списками можно проводить различные операции:

Элементы в списках можно заменять. Для этого нужно обратиться к нему по индексу.
Списки можно объединять. Для этого используют оператор + .
Элементы в Python можно перебирать при помощи циклов for и while .
Списки можно сравнить друг с другом, получив в ответ булево значение — False или True .

Строки
Строка — последовательность данных. В прошлом примере слово 'dog' — это строка. Класс такого объекта называется str . Строка — это любая упорядоченная последовательность символов. Ее используют, чтобы хранить или выводить текстовую информацию.
Для создания строк в Python используют одинарные или двойные кавычки. Начинающим разработчикам стоит запомнить правило последовательности. В одном проекте нужно выбрать либо одинарные, либо двойные кавычки, придерживаясь единообразного стиля. Это повышает читаемость кода.
Строки в Python можно объединять при помощи математического оператора + . Но лучше использовать вместо него .join() .
В первом случае это выглядит так:
a1 = 'Я учусь' a2 = 'писать код на Python' а1 + а2 >>> 'Я учусь писать код на Python' 
''.join([а1, а2]) >>> 'Я учусь писать код на Python' 
Кавычки тут нужны для обозначения строки-соединителя. В этом примере она пустая, но может содержать в себе пробел или другой символ.
Использование .join() вместо математического оператора делает код лаконичнее и производительнее. Это имеет смысл, когда строк много, а не всего две, как в нашем примере.
Для поиска по текстовой информации используют регулярные выражения — regex . Они позволяют «вытащить» из строк нужные данные. По этому принципу, например, работает поиск в Word по документу.
У регулярных выражений есть свой синтаксис:

. — заменяет любой символ;
\ — экранирует, превращая спецсимволы в обычные символы;
[…] — любой символ, указанный в скобках, можно обозначить как перечислением, так и диапазоном;
| — обозначает «или», то есть позволяет искать или один или другой символ;
[^…] — ищет любой символ, кроме указанного в скобках;
$ — конец строки;
^ — начало строки.

Объектно-ориентированное программирование
Объектно-ориентированное программирование (ООП) — это парадигма разработки, то есть набор правил и принципов, которые нужно соблюдать программисту.
Знакомство с ней необходимо для того, чтобы понимать основы. Без знания принципов ООП невозможно стать квалифицированным разработчиком.
Главный принцип ООП: все программы состоят из объектов. Объект — сущность, у которой есть набор действий и определенные данные. Перед написанием кода программисту нужно мысленно выделить основные объекты, потом наполнить их данными и прописать доступные действия.
Структура объектно-ориентированного программирования:

Объект — отдельный элемент с собственными функциями и характеристиками.
Класс — шаблон для объектов. Например, на сайте-картотеке фильмов и сериалов классом будет карточка фильма с пустыми полями, а объектами уже заполненные карточки с указанным названием, годом и жанром.****
Метод — функция, связанная с конкретным объектом и работающая с его данными. Например, метод в нашем примере позволит вывести имена актеров или вывести все фильмы этого же режиссера.
Атрибут — данные объекта. У класса описывают будущие атрибуты, а в объекте заполняют их конкретными данными. Например, в классе «фильм» есть атрибуты-поля «Режиссер» и «Год выхода». А в объекте, определенном фильме, будут конкретные фамилии и даты.

Что еще нужно знать
Программирование — творческая профессия, поэтому у разработчика есть определенная свобода действий. Написать код можно разными способами, и он будет работать.
Начинающие программисты предпочитают самые простые способы. А опытные разработчики стараются сделать свой код красивым и лаконичным.
Например, выше мы уже писали, почему стоит объединять строки при помощи .join(). И это не единственный способ оптимизации.
Что еще нужно знать:

Декораторы — функции, о которых обязательно спросят на собеседовании. При помощи декоратора можно добавить к уже существующей функции новые возможности, не меняя исходный код.
Случайные числа — числа из определенного диапазона с некоторой вероятностью выпадения. Их используют для того, чтобы имитировать закон распределения случайной величины. В Python для этого используют библиотеку random или модуль numpy.random .
Рекурсия — функция, вызывающая себя саму. Ее используют для выполнения последовательности одинаковых действий. Например, если нужно узнать сумму чисел от 1 до N, есть два способа. Первый — итерационный, в котором прописывают каждый шаг при помощи цикла. А второй — рекурсионный, он оптимальнее для решения сложных задач.
Рефакторинг кода — процесс редактирования и оптимизации. Он необходим для того, чтобы улучшить читабельность, сделать код понятнее и красивее. В процессе рефакторинга удаляют неиспользуемые переменные, ненужные и отладочные команды, избавляются от ошибок форматирования.

Сколько времени нужно, чтобы выучить Python
Судя по опыту многих разработчиков, базовые знания по Python можно получить чуть меньше, чем за месяц, если заниматься до пяти часов в неделю.
Если вы хотите стать Python-разработчиком, то готовьтесь уделять учебе от десяти часов в неделю. Занимаясь такое количество времени, вы сможете освоить Python на уровне джуна примерно в течение года.
Основы языка можно выучить самостоятельно с помощью книг, видеолекций и онлайн-курсов. Но на более поздних этапах обучения рекомендуем вам обращаться по всем вопросам к опытным разработчикам или менторам.
Полезные материалы для изучения Python
Первым делом стоит изучить документацию языка. Она дает представление о работе языка и показывает примеры его использования. Это как огромная библиотека или справочная, в которую разработчик может прийти за нужным документом или ответом в спорных ситуациях. Документацию Python можно посмотреть на официальном сайте .
Решайте задачи
Существует много разных сайтов, на которых питонисты выкладывают и решают задачи по Python. Это, например:

LeetCode
Codewars
Exercism
okpython.net
Проект Эйлера
CheckiO

Платформа Kaggle подойдет для тех, кто выбрал для дальнейшего развития сферу машинного обучения. На ней проходят групповые соревнования, где организаторы дают разные задачи по Data Science. Участники решают задачи с помощью языка Python. Лучшие решения можно будет положить в портфолио.
Участвуйте в играх
Изучать Python по играм не менее эффективно, чем штудировать теорию курсов и учебников. На игровых турнирах можно прокачиваться в написании кода и даже знакомиться с единомышленниками.
В какие игры можно поиграть:

Code Monkey — пожалуй, самая популярная игра по Python. В ней нужно помогать обезьянке собирать бананы с помощью цепочки команд.
CodeCombat — игра учит базовым навыкам программирования и написанию кода. В ней нужно захватывать земли и уничтожать врагов.
Codebattle — это платформа, на которой проходят игры и турниры для разработчиков. Они развивают алгоритмическое мышление и дают полезные связи с разработчиками. Хекслет проводит соревнования разработчиков разных уровней на Codebattle каждый месяц — участвуйте, чтобы приобрести новый опыт и разнообразить свое обучение.

Читайте книги
Есть много хороших книг по изучению Python. Будет здорово, если вы прочитаете некоторые из них:

Пол Бэрри «Изучаем программирование на Python»
Марк Лутц «Изучаем Python»
Эрик Мэтиз. Изучаем Python. Программирование игр, визуализация данных, веб-приложения».

Также у Хекслета есть свой список рекомендованной литературы. Ознакомьтесь с этими книгами — они полезны для программистов любых направлений.
На YouTube-канале Хекслета есть рубрика «Публичные собеседования» , в которой наши студенты проходят учебные интервью у специалистов разных компаний. Посмотрите видео из этой рубрики, чтобы иметь понимание о том, как проходят собеседования и какие знания нужны разработчикам, чтобы успешно их проходить.
Если в процессе обучения вы почувствуете, что вам не хватает поддержки единомышленников и более опытных разработчиков, присоединяйтесь к Хекслет Комьюнити. Там вы сможете обсуждать трудные моменты в учебе, получать помощь и поддержку.
Что дальше
Если хотите быстро и недорого попробовать работать с Python под руководством наставника — запишитесь на наши подготовительные курсы. Двухнедельный интенсив позволит получить крепкую базу знаний и написать свою первую программу на Python.
Профессия «Python-разработчик»

Изучите Python — язык с простым и понятным синтаксисом
Научитесь создавать полноценные сайты и веб-приложения
Освойте популярный фреймворк Python — Django
Разберитесь в базах данных и научитесь управлять ими с помощью SQL

Как написать свой язык программирования на python

МЕРОПРИЯТИЯ
Хакатон по кибериммунной разработке 2.0
Комментарии
Популярные По порядку

Не удалось загрузить комментарии.
ЛУЧШИЕ СТАТЬИ ПО ТЕМЕ
ООП на Python: концепции, принципы и примеры реализации
Программирование на Python допускает различные методологии, но в его основе лежит объектный подход, поэтому работать в стиле ООП на Python очень просто.
3 самых важных сферы применения Python: возможности языка
Существует множество областей применения Python, но в некоторых он особенно хорош. Разбираемся, что же можно делать на этом ЯП.
Программирование на Python: от новичка до профессионала
Пошаговая инструкция для всех, кто хочет изучить программирование на Python (или программирование вообще), но не знает, куда сделать первый шаг.
Как создать свой язык программирования: теория, инструменты и советы от практика

На данный момент этот блок не поддерживается, но мы не забыли о нём! Наша команда уже занята его разработкой, он будет доступен в ближайшее время.
На протяжении последних шести месяцев я работал над созданием языка программирования (ЯП) под названием Pinecone. Я не рискну назвать его законченным, но использовать его уже можно — он содержит для этого достаточно элементов, таких как переменные, функции и пользовательские структуры данных. Если хотите ознакомиться с ним перед прочтением, предлагаю посетить официальную страницу и репозиторий на GitHub.
Введение
Я не эксперт. Когда я начал работу над этим проектом, я понятия не имел, что делаю, и всё еще не имею. Я никогда целенаправленно не изучал принципы создания языка — только прочитал некоторые материалы в Сети и даже в них не нашёл для себя почти ничего полезного.
Тем не менее, я написал абсолютно новый язык. И он работает. Наверное, я что-то делаю правильно.
В этой статье я постараюсь показать, каким образом Pinecone (и другие языки программирования) превращают исходный код в то, что многие считают магией. Также я уделю внимание ситуациям, в которых мне приходилось искать компромиссы, и поясню, почему я принял те решения, которые принял.
Текст точно не претендует на звание полноценного руководства по созданию языка программирования, но для любознательных будет хорошей отправной точкой.
Первые шаги
«А с чего вообще начинать?» — вопрос, который другие разработчики часто задают, узнав, что я пишу свой язык. В этой части постараюсь подробно на него ответить.
Компилируемый или интерпретируемый?
Компилятор анализирует программу целиком, превращает её в машинный код и сохраняет для последующего выполнения. Интерпретатор же разбирает и выполняет программу построчно в режиме реального времени.
Технически любой язык можно как компилировать, так и интерпретировать. Но для каждого языка один из методов подходит больше, чем другой, и выбор парадигмы на ранних этапах определяет дальнейшее проектирование. В общем смысле интерпретация отличается гибкостью, а компиляция обеспечивает высокую производительность, но это лишь верхушка крайне сложной темы.
Я хотел создать простой и при этом производительный язык, каких немного, поэтому с самого начала решил сделать Pinecone компилируемым. Тем не менее, интерпретатор у Pinecone тоже есть — первое время запуск был возможен только с его помощью, позже объясню, почему.
Выбор языка
Своеобразный мета-шаг: язык программирования сам является программой, которую надо написать на каком-то языке. Я выбрал C++ из-за производительности, большого набора функциональных возможностей, и просто потому что он мне нравится.
Но в целом совет можно дать такой:

интерпретируемый ЯП крайне рекомендуется писать на компилируемом ЯП (C, C++, Swift). Иначе потери производительности будут расти как снежный ком, пока мета-интерпретатор интерпретирует ваш интерпретатор;
компилируемый ЯП можно писать на интерпретируемом ЯП (Python, JS). Возрастёт время компиляции, но не время выполнения программы.

Проектирование архитектуры
У структуры языка программирования есть несколько ступеней от исходного кода до исполняемого файла, на каждой из которых определенным образом происходит форматирование данных, а также функции для перехода между этими ступенями. Поговорим об этом подробнее.
Лексический анализатор / лексер
На данный момент этот блок не поддерживается, но мы не забыли о нём! Наша команда уже занята его разработкой, он будет доступен в ближайшее время.
Первый шаг в большинстве ЯП — это лексический анализ. Говоря по-простому, он представляет собой разбиение текста на токены, то есть единицы языка: переменные, названия функций (идентификаторы), операторы, числа. Таким образом, подав лексеру на вход строку с исходным кодом, мы получим на выходе список всех токенов, которые в ней содержатся.
Обращения к исходному коду уже не будет происходить на следующих этапах, поэтому лексер должен выдать всю необходимую для них информацию.
Flex
При создании языка первым делом я написал лексер. Позже я изучил инструменты, которые могли бы сделать лексический анализ проще и уменьшить количество возникающих багов.
Одним из основных таких инструментов является Flex — генератор лексических анализаторов. Он принимает на вход файл с описанием грамматики языка, а потом создаёт программу на C, которая в свою очередь анализирует строку и выдаёт нужный результат.
Моё решение
Я решил оставить написанный мной анализатор. Особых преимуществ у Flex я в итоге не увидел, а его использование только создало бы дополнительные зависимости, усложняющие процесс сборки. К тому же, мой выбор обеспечивает больше гибкости — например, можно добавить к языку оператор без необходимости редактировать несколько файлов.
Синтаксический анализатор / парсер
На данный момент этот блок не поддерживается, но мы не забыли о нём! Наша команда уже занята его разработкой, он будет доступен в ближайшее время.
Следующая стадия — парсер. Он преобразует исходный текст, то есть список токенов (с учётом скобок и порядка операций), в абстрактное синтаксическое дерево, которое позволяет структурно представить правила создаваемого языка. Сам по себе процесс можно назвать простым, но с увеличением количества языковых конструкций он сильно усложняется.
Bison
На этом шаге я также думал использовать стороннюю библиотеку, рассматривая Bison для генерации синтаксического анализатора. Он во многом похож на Flex — пользовательский файл с синтаксическими правилами структурируется с помощью программы на языке C. Но я снова отказался от средств автоматизации.
Преимущества кастомных программ
С лексером моё решение писать и использовать свой код (длиной около 200 строк) было довольно очевидным: я люблю задачки, а эта к тому же относительно тривиальная. С парсером другая история: сейчас длина кода для него — 750 строк, и это уже третья попытка (первые две были просто ужасны).
Тем не менее, я решил делать парсер сам. Вот основные причины:

минимизация переключения контекста;
упрощение сборки;
желание справиться с задачей самостоятельно.

В целесообразности решения меня убедило высказывание Уолтера Брайта (создателя языка D) в одной из его статей:
Абстрактный семантический граф
На данный момент этот блок не поддерживается, но мы не забыли о нём! Наша команда уже занята его разработкой, он будет доступен в ближайшее время.
В этой части я реализовал структуру, по своей сути наиболее близкую к «промежуточному представлению» (intermediate representation) в LLVM. Существует небольшая, но важная разница между абстрактным синтаксическим деревом (АСД) и абстрактным семантическим графом (АСГ).
АСГ vs АСД
Грубо говоря, семантический граф — это синтаксическое дерево с контекстом. То есть, он содержит информацию наподобие какой тип возвращает функция или в каких местах используется одна и та же переменная. Из-за того, что графу нужно распознать и запомнить весь этот контекст, коду, который его генерирует, необходима поддержка в виде множества различных поясняющих таблиц.
Запуск
После того, как граф составлен, запуск программы становится довольно простой задачей. Каждый узел содержит реализацию функции, которая получает некоторые данные на вход, делает то, что запрограммировано (включая возможный вызов вспомогательных функций), и возвращает результат. Это — интерпретатор в действии.
Варианты компиляции
Вы, наверное, спросите, откуда взялся интерпретатор, если я изначально определил Pinecone как компилируемый язык. Дело в том, что компиляция гораздо сложнее, чем интерпретация — я уже упоминал ранее, что столкнулся с некоторыми проблемами на этом шаге.
Написать свой компилятор
Сначала мне понравилась эта мысль — я люблю делать вещи сам, к тому же давно хотел изучить язык ассемблера. Вот только создать с нуля кроссплатформенный компилятор — сложнее, чем написать машинный код для каждого элемента языка. Я счёл эту идею абсолютно не практичной и не стоящей затраченных ресурсов.
LLVM
LLVM — это коллекция инструментов для компиляции, которой пользуются, например, разработчики Swift, Rust и Clang. Я решил остановиться на этом варианте, но опять не рассчитал сложности задачи, которую перед собой поставил. Для меня проблемой оказалось не освоение ассемблера, а работа с огромной многосоставной библиотекой.
Транспайлинг
Мне всё же нужно было какое-то решение, поэтому я написал то, что точно будет работать: транспайлер (transpiler) из Pinecone в C++ — он производит компиляцию по типу «исходный код в исходный код», а также добавил возможность автоматической компиляции вывода с GCC. Такой способ не является ни масштабируемым, ни кроссплатформенным, но на данный момент хотя бы работает почти для всех программ на Pinecone, это уже хорошо.
Дальнейшие планы
Сейчас мне не достаёт необходимой практики, но в будущем я собираюсь от начала и до конца реализовать компилятор Pinecone с помощью LLVM — инструмент мне нравится и руководства к нему хорошие. Пока что интерпретатора хватает для примитивных программ, а транспайлер справляется с более сложными.
Заключение
Надеюсь, эта статья окажется кому-нибудь полезной. Я крайне рекомендую хотя бы попробовать написать свой язык, несмотря на то, что придётся разбираться во множестве деталей реализации — это обучающий, развивающий и просто интересный эксперимент.
Вот общие советы от меня (разумеется, довольно субъективные):

если у вас нет предпочтений и вы сомневаетесь, компилируемый или интерпретируемый писать язык, выбирайте второе. Интерпретируемые языки обычно проще проектировать, собирать и учить;
с лексерами и парсерами делайте, что хотите. Использование средств автоматизации зависит от вашего желания, опыта и конкретной ситуации;
если вы не готовы / не хотите тратить время и силы (много времени и сил) на придумывание собственной стратегии разработки ЯП, следуйте цепочке действий, описанной в этой статье. Я вложил в неё много усилий и она работает;
опять же, если не хватает времени / мотивации / опыта / желания или ещё чего-нибудь для написания классического ЯП, попробуйте написать эзотерический, типа Brainfuck. (Советуем помнить, что если язык написан развлечения ради, это не значит, что писать его — тоже сплошное развлечение. — прим. перев.)

Я делал довольно много ошибок по ходу разработки, но большую часть кода, на которую они могли повлиять, я уже переписал. Язык сейчас неплохо функционирует и будет развиваться (на момент написания статьи его можно было собрать на Linux и с переменным успехом на macOS, но не на Windows).
О том, что ввязался в историю с созданием Pinecone, ни в коем случае не жалею — это отличный эксперимент, и он только начался.
Читать:
Как снять приборку пассат б4