Автоматизація парсингу сайтів на Python
Артем Мураховський
Python Developer, тренер-консультант CyberBionic Systematics
01.01.1960
19:00 - 21:00
Рейтинг: 5.
Проголосувало: 12
В эру машинного обучения информация становится нефтью 21го века. Проекты, связанные со сбором и анализом данных, выходят на первые позиции в глобальных компаниях и в стартапах.
Как собирать и обрабатывать информацию? В зависимости от целей проекта данные могут собираться абсолютно разные. На вебинаре мы рассмотрим один из наиболее распространенных подходов – парсинг сайтов.
Мы возьмем один из популярных сайтов с рабочими вакансиями и на его примере разберем библиотеки для парсинга веб-сайтов, библиотеки для работы с запросами. Разберем виды популярных баз данных и поймем где и какую нужно использовать.
План вебинара:
- Что такое парсинг веб-сайтов.
- Библиотеки для парсинга веб-сайтов.
- Библиотеки для работы с сетью.
- Написание кода парсеров.
- SQL и NoSQL - при каких задачах, какой тип используется.
- Написание кода менеджеров баз данных.
Целевая аудитория:
Данный вебинар будет полезен для людей, понимающих синтаксис языка Python и принципы объектно-ориентированного программирования, перед которыми стоит задача автоматизации сбора данных посредством парсинга сайтов.
01.01.1960
120
1867
01.01.1960
120
1542
01.01.1960
120
1143
01.01.1960
120
1412
01.01.1960
120
3443
01.01.1960
120
2880
01.01.1960
120
1422
01.01.1960
120
972
01.01.1960
120
1840
01.01.1960
120
2682
01.01.1960
120
5723
01.01.1960
120
2201
Чому все більше Python-розробників обирають Reflex
09.06.2026
У веброзробці багато років діяло неписане правило: хочеш створити сучасний вебзастосунок — готуйся працювати одразу з двома світами. Бекенд пишеться на Python, Java чи Go, а інтерфейс користувача — на JavaScript або TypeScript із React, Angular чи Vue.
Вебінари Артема Мураховського з програмування на Python
14.10.2022
Коли людина робить те, що вона любить, що вона сама обрала як свою справу, вона надихає інших жити і творити. Таким був Артем Мураховський.
ТОП-10 найкращих відео з Python
24.01.2022
Друзі, цього разу ми підготували для вас підбірку найкращих вебінарів від ITVDN за напрямком Python. До рейтингу увійшли як пізнавальні вебінари з актуальною інформацією, так і вебінари, орієнтовані на прокачування ваших навичок створення коду. Давайте приступимо до їх розгляду.
100+ питань з Python для Junior, Middle та Senior
18.11.2020
Редакция DOU пообщалась с разработчиками, которые проводят технические собеседования Python-специалистов для различных уровней, и собрала примерный список вопросов к кандидатам. Конечно, он не является исчерпывающим, однако содержит типичные вопросы.
Хто такий Full-stack розробник
29.07.2020
Full-stack розробник (вимовляється "фул стек") – це якийсь майстер на всі руки у світі веб-розробки. Йому під силу реалізувати як клієнтську, так і серверну сторону додатку, якими, зазвичай, займаються FrontEnd і BackEnd розробники окремо один від одного. Таким чином, Full-stack спеціаліст здатний одноосібно вести проєкт від початку до кінця.
Що повинен знати Python розробник у 2020 році
29.01.2020
Добрый день, дорогие читатели блога ITVDN! Предлагаем вашему вниманию новую публикацию в рубрике “Что должен знать разработчик...”, в которой мы пишем о самых популярных IT-профессиях. Ранее уже были опубликованы обзоры по FrontEnd и .NET. В этот раз в центре внимания язык Python. В каких сферах он успешно применяется, а в каких буквально незаменим? Какими знаниями нужно обладать, чтобы стать, к примеру, Python BackEnd разработчиком? Все это вы узнаете в нашей статье. Приятного чтения!
Створюємо Telegram-бота на Python. Частина 2
25.09.2019
Чат боты — это новый инструмент взаимодействия разработчика с пользователем. Их все чаще внедряют для совершенно различных целей. Новостные ленты, обработка налоговых деклараций, сохранение файлов – боты становятся удобным интерфейсом взаимодействия c различными сервисами.
Топ-5 кращих фреймворків для Python-розробників
07.11.2018
Сейчас трудно представить себе любого девелопера без использования фреймворков. Здесь вы найдёте 5 лучших и наиболее признанных фреймворков для Python-разработчиков.
Як я побудував проект на Django, Django REST Framework, Angular 1.1.x та Webpack
27.07.2016
Моя идея состояла в том, чтобы построить простой репликабельный проект на Angular с бэкэндом на Django. Я искал и не смог найти нужных решений, пришлось во всем разбираться самому. В итоге я разобрался и решил сам написать гайд для всех, кого может заинтересовать данная проблема.
Данная статья поможет вам построить простое приложение Angular с бэкэндом на Django, организованного с помощью Webpack.
Модуль Asyncio Python
12.01.2016
Мы продолжаем цикл статей об асинхронном программировании с использованием сопрограмм в Python. В предыдущей статье мы рассмотрели реализацию сопрограмм при помощи генераторов в Python 2.5 и выше, в этой же познакомимся с той инфраструктурой, которая построена на основе них в Python 3.
Співпрограми на основі генераторів Python
15.12.2015
В данной статье, которая является второй из цикла об асинхронном программировании с использованием сопрограмм в Python, мы рассмотрим их классическую реализацию, доступную ещё с Python версии 2.5, при помощи расширенных возможностей генераторов (PEP 342).
Асинхронне програмування та співпрограми в Python
24.11.2015
В этом цикле статей будет рассмотрено асинхронное программирование при помощи сопрограмм в языке Python. В данной мы рассмотрим основные понятия и термины, которыми будем оперировать в дальнейшем, вкратце познакомимся с историей асинхронного программирования и состоянием дел в этой области на сегодняшний день. Также Вы узнаете о том, что такое сопрограммы и чем они могут быть полезны при написании кода в асинхронном стиле.
коментарі та обговорення