Meta* признана экстремистской организацией. Что это значит для пользователей и бизнеса. Часть 2
Вчера я опубликовал краткое резюме по теме признания Meta* (продукты Facebook* и Instagram*) экстремистской организацией, дал рекомендации, как стоит действовать бизнесу и пользователям в связи с решением суда.
12K открытий
Я получил много вопросов от сотрудников и клиентов нашего агентства, в комментариях к десяткам перепостов и вчерашней статье на VC. В этом материале в том числе поделюсь вашими вопросами и ответами на них.
Что произошло:
Вчера ТАСС ( https://tass.ru/obschestvo/14135927 и https://tass.ru/obschestvo/14135585) и другие официальные информагентства России сообщили о том, что Тверской суд города Москвы признал Meta* (продукты Facebook* и Instagram*) экстремистской организацией.
Официальное решение суда не опубликовано на государственном интернет-портале “Правосудие” https://sudrf.ru, но уже сейчас понятно, какие законодательные документы из УК РФ и КоАП РФ стоит учитывать в связи с этой новостью.
Это — первая итерация наших рекомендаций, призванная в уже имеющейся ситуации помочь снизить риски. В ближайшее время станет понятно, какова судебная практика, на что обращают внимание прокуратура и Роскомнадзор и как развивается ситуация. Мы будем и дальше следить за развитием событий и комментировать их.
Клиентам и партнёрам агентства 2L мы разослали следующую памятку с моими рекомендациями:
- Остановить рекламные кампании в личных кабинетах Facebook* и Instagram*, если такие еще ведутся. Если в платежных кабинетах привязаны любые карты, то отвязать их.
Пояснение: Покупка рекламы в приложениях может быть расценена как финансирование экстремистской деятельности (ст. 282.3 УК РФ). Скорее всего, пользоваться рекламным кабинетом будет небезопасно.
- Оплата рекламы напрямую блогеру в Facebook* и Instagram* не подпадает под определение финансирования экстремистской деятельности.
Пояснение: Если есть веские причины продолжать вести кампанию, это не запрещено напрямую.
- Удалить все логотипы Meta*, Facebook* и Instagram* со своих сайтов, блогов и других корпоративных площадок.
Пояснение: Формально есть основания для наказания за публичную демонстрацию символики приложений (ст. 20.3 КоАП РФ). Поэтому на сайтах, в социальных сетях и т. д. рекомендую убрать значки приложений, пока не будет точно понятно, что прокуратура не собирается обращать внимание на подобные нарушения.
- Удалить все ссылки на Meta*, Facebook* и Instagram* со своих сайтов, блогов и других корпоративных площадок.
Пояснение: Хотя это и не символика и прямого упоминания об этом в материалах информагентств нет, но ссылки открывают прямой доступ к информации об экстремистской организации, поэтому тут я рекомендовал бы перебдеть и удалить.
- Аккаунты компаний можно продолжать вести в Facebook* и Instagram* — главное, не размещать экстремистских постов.
- При публичном упоминании Meta* и ее приложений нужно указывать, что это экстремистская организация (ст.13.15 КоАП РФ). Например, «Meta признана экстремистcкой организацией в России» или «Instagram, продукт компании Meta, которая признана экстремистской организацией в России».
Вопросы и ответы:
Вопрос: Что грозит физическому лицу, если он где-то оставит ссылку на Facebook* и Instagram*?
Ответ: Такие действия подпадают под ст.20.3 КоАП РФ «Публичное демонстрирование символики (про ссылку в контексте символики выше пояснил) экстремистской организации» — до 15 суток ареста.
Вопрос: Что грозит СМИ и бизнесу, если они где-то оставят ссылку на Facebook* и Instagram*?
Ответ: Согласно ст. 20.3 КоАП РФ, штраф юридическому лицу на сумму до 50 тыс. руб., штраф должностного лица на сумму до 4 тыс. руб.
Вопрос: Что делать со старыми материалами, в которых есть лого или упоминания, — на сайте или на других корпоративных площадках? Нужно ли удалять/делать пометки, или старых материалов это не касается и ничего не нужно делать?
Ответ: В старых материалах лучше убирать лого и ссылки. Если остается упоминание, то добавить упоминания об экстремизме.
Вопрос: В материалах достаточно один раз указать или при каждом упоминании «Meta, в том числе ее продукты Facebook и Instagram, признана экстремистской организацией в России.»?
Ответ: Лучше всего при каждом упоминании указывать звездочку (Instagram*) и в конце текста указать, что эта звездочка означает.
Вопрос: Можно ли с сайта убрать только лого? Можно ли, например, написать «Инст», «ФБ» и гиперссылки на соцсети – как это может трактоваться?
Ответ: До полного понимания действий прокуратуры и Роскомнадзора, рекомендую убрать все значки и гиперссылки на эти социальные сети.
Вопрос: Если оплата рекламы производится с ЮЛ в США, а ее настройку и контроль я произвожу в рамках договора с зарубежной компанией, физически находясь не в РФ, как это трактуется?
Ответ: Приговор по ст. 282.3 УК РФ могут вынести за «предоставление или сбор средств либо оказание финансовых услуг». Если человек принимает денежные средства от третьих лиц и тратит их полностью или частично на рекламный кабинет, зарегистрированный на себя, то формально это — финансирование экстремистской организации. Даже если денежные средства не ваши, но рекламный кабинет зарегистрирован на вас, в рискуете стать подозреваемым по делу о финансировании экстремистской организации.
Вопрос: Логотипы приложений в телефоне пользователя — нарушение?
Ответ: Нет, лого приложения в телефоне не демонстрируется публично и не влияет на общественное сознание как пропаганда.
Вопрос: Продажа акций, купленных до знаменательного решения Тверского суда, законно?
Ответ: Если акции куплены до оглашения решения суда, то их наличие пока ничем не угрожает. Но стоит иметь в виду, что Центральный банк или Правительство РФ могут принять отдельные решения по вопросам имеющихся акций. Рекомендую до тех пор выжидать.
Вопрос: Можно ли пользоваться этими соцсетями госслужащим и госучреждениям?
Ответ: Отдельных указаний на этот счет нет. Значит, в их случае действуют все те же ограничения, что и для обычных граждан. Скорее всего, органы власти примут внутренние акты, инструкции по использованию соцсетей.
Вопрос: Что делать, если есть долг в рекламном кабинете? Погасить его означает спонсировать эту организацию?
Ответ: Да, отправка денег — финансирование организации.
Вопрос: Нужно ли удалять все посты и упоминания этих сетей на других платформах и сайтах?
Ответ: Посты удалять необязательно, гиперссылки и значки на других сайтах нужно удалить. Упоминания можно оставить, но добавить примечание об экстремистской организации. Вариант: удалить упоминания.
Вопрос: Авторизацию через Facebook* нужно убрать на сайте? Или просто логотипы?
Ответ: Рекомендую убрать авторизацию, чтобы не было упоминания о соцсети.
Вопрос: Упоминание в личных и корпоративных переписках каким то образом может быть трактовано против меня?
Ответ: Любое упоминание в переписке должно сопровождаться примечанием об экстремистской организации. Символы соцсетей и ссылки на них не нужно отправлять никому.
* Организация Meta, а также её продукты Instagram и Facebook, на которые мы ссылаемся в этой статье, признаны экстремистскими на территории РФ.
Надеюсь, мои рекомендации помогут вам понять, как действовать сегодня.
Если у вас есть вопросы, задавайте в нашем Telegram-канале, постараюсь быстро помочь.
Тревога! Главархив Москвы приватизирует наше прошлое
В мае 2021 года Главархив Москвы начал принимать у москвичей фотоплёнки и киноплёнки, чтобы сохранять их на долгие годы. Эта акция называется «Москва — с заботой об истории». Власти объявили, что люди могут передать архиву плёнки из семейных архивов, полученные плёнки войдут в состав архивного фонда, а затем будут использоваться в публикациях и выставочных проектах архивного ведомства. Сдать материалы можно в центрах госуслуг «Мои документы».
Сейчас уже собрано больше 10 тысяч фотоплёнок, документов и предметов. Правительство Москвы объявило, что «все они с согласия владельцев используются в городских проектах и на выставках». Начальник Главного архивного управления Москвы Ярослав Онопенко обещал, что фотографии появятся в виртуальном музее на сайте https://vov.mos.ru.
Затем плохое — про запрет использования
Главархив Москвы получает от москвичей огромное число материалов. Счёт идёт на тысячи. Возникает большой запас наглядных и фактических материалов по истории России. Однако этот запас остаётся недоступным. Вот что пишет Главархив Москвы на своём сайте:
Публикация электронных образов документов возможна исключительно с письменного разрешения архивов, в которых они хранятся.
С одной стороны, москвичи пришли в центр госуслуг и бесплатно передали городскому архиву свои негативы, слайды, киноплёнки, вместе со всеми правами на содержащиеся там изображения. Главархив Москвы специально пишет в договоре, что гражданин —
2.2.2. Безвозмездно передаёт в полном объёме исключительные права на фотографии с переданной фотоплёнки как на результаты интеллектуальной деятельности.
2.2.3. Гарантирует обладание правами на переданную фотоплёнку и фотографии с неё как на результат интеллектуальной деятельности в полном объёме.
2.2.4. Разрешает безвозмездно использовать фотографии с переданной фотоплёнки любым не противоречащим закону способом в соответствии со статьёй 1270 ГК РФ.
С другой стороны, архив сразу запрещает всем людям использовать эти снимки и фильмы. Если вы хотите копировать, распространять, дорабатывать и другим способом использовать полученные Главархивом материалы — надо получить письменное разрешение от архива. Причём архив не даст общего разрешения, а даст только разовое, для одного использования. И за это разрешение придётся платить.
Теперь самое ужасное — про копирайт
Чтобы использовать фотографии или кинофильмы, надо получать разрешение от автора. Закон называет такое разрешение «лицензией» (лицензионный договор).
Например, свободная лицензия Creative Commons — это договор, в котором автор разрешает всем людям копировать, распространять и переделывать его произведение.
Но Главархив Москвы поступил хитрее. Когда житель Москвы приходит в центр госуслуг, он передаёт не только носители, фотоплёнки. Он подписывает соглашение о передаче Главархиву Москвы всех прав на сами фотоснимки. Архив получает от автора не разрешение (лицензию) на некоторые права, а сами права. Архив становится владельцем авторских прав.
«Бывайте, ихтиандры!» — словно бы говорит архив московским фотографам.
Решить проблему можно двумя способами
- ЕСЛИ ВЫ АРХИВ и принимаете от людей такие материалы — надо сразу же заключить договор. Однако не таким способом, какой записан в договоре Главархива Москвы. Надо не отнимать права только для себя, а получать разрешение для всех людей. Получать такое разрешение, чтобы все люди могли свободно использовать эти фотоснимки.
Нужно вычеркнуть пункт (2.2.2) и дописать, что вы разрешаете неограниченному кругу лиц использовать произведения, представленные на фотоплёнке, по свободной лицензии Creative Commons Attribution 4.
Этой статьёй я хочу поставить вопрос об условиях использования фотографий, собранных Главархивом Москвы. Может быть, нас читают чиновники, которые решат проблему и ответят на вопрос. Давайте будем оптимистами.
- Главархив Москвы
- свободная лицензия
- creative commons
- фотография
- кино
- обработка изображений
- лицензирование
- москва
- авторское право
Базовые аспекты мета-анализа. Часть 1
Мета-анализ – одно из понятий научной методологии. Он является частым, но не обязательным компонентом систематического обзора эмпирических исследований. Для проведения мета-анализа объединяются результаты нескольких научных исследований и осуществляется проверка одной или нескольких взаимосвязанных научных гипотез при помощи количественных (статистических) методов. Для такого анализа можно использовать либо первичные данные оригинальных исследований, либо обобщенные опубликованные (вторичные) результаты исследований, посвященные одной проблеме. Мета-анализ используется для получения оценки величины неизвестного эффекта, а также для сравнения результатов различных исследований, выявляет в них закономерности или другие взаимосвязи, а также возможные источники разногласий. Мета-анализы занимают высшую ступень достоверности в концепции доказательной медицины, поэтому их результаты считаются самым надежным источником доказательств. Понимание всех этапов проведения мета-анализа позволит научным сотрудникам грамотно анализировать результаты таких исследований, а также формулировать задачи при самостоятельном проведении мета-анализов. В настоящей статье читатель познакомится с такими ключевыми понятиями мета-анализа, как взвешенные эффекты, гетерогенность, различные типы используемых статистических моделей, а также научится работать с некоторыми видами графиков, получаемых в мета-анализах.
Ключевые слова
При поддержке: Статья подготовлена при поддержке программы стратегического академического лидерства «Приоритет-2030» ФГАОУ ВО «Первый Московский государственный медицинский университет им. И. М. Сеченова» Минздрава России (Сеченовский Университет)
Список сокращений:
ДИ – доверительный интервал
неРКИ – нерандомизированное исследование
РКИ – рандомизированное контролируемое исследование
Многие оригинальные исследования имеют сходные цели и задачи, но при этом проводятся разными коллективами, с разными пациентами, по иным протоколам и в разные временные промежутки. Результаты таких исследований могут быть разнообразны и противоречивы, что затрудняет принятие клинических решений. Благодаря концепции доказательной медицины разработаны инструменты, позволяющие объединить результаты многочисленных исследований, в определенной мере различающихся между собой [1]. Проверяя гипотезы в разных популяциях, мы получаем бесценные данные о том, что: а) эффект прослеживается у разных групп (или, наоборот, есть только в конкретных группах); б) существует вариабельность эффекта. Большое количество сходных исследований, по сути, являются репликациями одного большого эксперимента. Соответственно большее количество репликаций повышает мощность и степень доверия к результатам.
Существуют несколько основных инструментов, чтобы вынести суждение о совокупных результатах неких единообразных исследований.
- Систематические обзоры. Систематические обзоры включают все исследования, которые возможно найти, соответствующие неким строгим критериям включения. Данные критерии включения направлены на соблюдение ряда стандартов, предъявляемых к планированию исследований, их проведению и стандартным операционным процедурам и результатам (например, исследования по артериальной гипертензии, где артериальное давление оценивалось в соответствии с международными рекомендациями по кардиологии; исследования определенной манипуляции в хирургии, которая выполнялась строго в соответствии с четкими рекомендациями международных ассоциаций).
- Мета-анализы. Главным отличием мета-анализа от систематических обзоров является не только рассмотрение результатов ряда исследований, но и количественная оценка их результатов. В самом деле, нам необходимо знать не только то, что препарат/вмешательство обладает эффектом, но и оценить размер этого эффекта, и широту его вариабельности.
В настоящей публикации мы затронем базовые аспекты проведения мета-анализов, что делается после того, как проведен литературный поиск и фактически проведена бóльшая часть работы для систематического обзора.
ВКЛЮЧЕНИЕ ИССЛЕДОВАНИЙ В МЕТА-АНАЛИЗ
Рекомендации PRISMA
Детальное описание критериев и процесса литературного поиска не является темой настоящей публикации, однако важно помнить, что любое создание систематического обзора состоит из ряда ступеней. Эти ступени объединены в стандартную схему, получившую название «диаграмма PRISMA» (Preferred Reporting Items for Systematic Reviews and Meta-Analyses, предпочтительные элементы отчетности для систематических обзоров и мета-анализов), по названию соответствующих рекомендаций [2] (рис. 1). [2] (рис. 1).
РИС. 1. Шаблон потоковой диаграммы PRISMA, адаптирована из M.J. Page и соавт. [2]
FIG. 1. PRISMA flow diagram template, adapted from M.J. Page et al. [2]
Собственно, мета-анализ начинается после того, как завершено включение и доступны исследования, из которых будет выполнена экстракция данных.
Основными рекомендациями по предварительным и дальнейшим шагам, представляющим для читателя практический интерес, являются:
- Руководство Кокрановского общества по составлению систематических обзоров (Cochrane Handbook for Systematic Reviews of Interventions) 1 – данный документ размещен в интернете и представляет собой структурированное руководство с освещением практически всех аспектов литературного поиска, проведения метаанализа, базовых навыков по математической статистике, необходимых для такой работы.
- Рекомендации PRISMA, о которых мы упоминали выше [2].
Представленные рекомендации помогут соблюсти высокие стандарты при написании систематических обзоров и уменьшить число возможных ошибок и неточностей, которые впоследствии могут затруднить продолжение работы. В связи с тем что метаанализы широко используются фармацевтическими компаниями, а также иными коммерческими структурами, соблюдение указанных в рекомендациях стандартов проверяется рецензентами очень тщательно как при рассмотрении, так и при публикации статей. Строгое соблюдение регламента и рекомендаций является залогом успешной публикации.
ОЦЕНКА ВОЗМОЖНЫХ СМЕЩЕНИЙ В ПУБЛИКАЦИЯХ
После сбора всех подходящих публикаций для включения в систематический обзор или мета-анализ необходимо оценить их с точки зрения возможных смещений. К сожалению, источников потенциальных смещений может быть довольно много, поэтому были разработаны специальные инструменты, позволяющие исследователям проводить потенциальную оценку публикаций. Такие инструменты получили название графики риска смещений, или risk of bias plots.
Данные графики можно строить для исследований с различными типами дизайна, в первую очередь для рандомизированных контролируемых исследований (РКИ) (рис. 2) и для нерандомизированных исследований (неРКИ) [3] [ 4] (рис. 3). Графики, приведенные ниже, получили название «светофоры». Основная идея сводится к тому, что исследователи, проводящие мета-анализ с включением РКИ (рис. 2), рассматривают каждое исследование по отдельности и оценивают, насколько велики риски, ассоциированные с 5 доменами:
- рандомизацией;
- вмешательством;
- пропущенными данными;
- оценкой конечной точки;
- представлением результатов.
Риск оценивается как «высокий», «средний» и «низкий».
РИС. 2. Диаграмма светофор для рандомизированных контролируемых исследований, адаптирована из L.A. McGuinness
и соавт. [5]
FIG. 2. Traffic light plot for randomized controlled trials, adapted from L.A. McGuinness et al. [5]
Примечание: риск смещения, ассоциированный с доменами: Д1 – рандомизацией; Д2 – вмешательством; Д3 – пропущенными данными; Д4 –
оценкой конечной точки; Д5 – представлением результатов.
Note: risk of bias associated with the domains: D1 – randomization; D2 – deviations from intended interventions; D3 – missing data; D4 – measurement
of outcome; D5 – selection of reported results
РИС. 3. Диаграмма светофор для когортных исследований, адаптирована из L.A. McGuinness и соавт. [5]
FIG. 3. Traffic light plot for cohort studies, adapted from L.A. McGuinness et al. [5]
Примечание: риск смещения, ассоциированный с доменами: Д1 – конфаундинг (влияние вмешивающихся факторов); Д2 – отбором и вклю-
чением пациентов; Д3 – вмешательством; Д4 – расхождением с протоколом; Д5 – пропущенными данными; Д6 – оценкой конечной точки;
Д7 – представлением результатов.
Note: risk of bias associated with the domains: D1 – confounding; D2 – selection of participants; D3 – classification of interventions; D4 – deviations from
intended interventions; D5 – missing data; D6 – measurement of outcome; D7 – selection of reported results
В случае если в мета-анализ включаются неРКИ, оцениваются риски, связанные с 7 доменами:
- конфаундингом (confounding, влияние вмешивающихся факторов);
- отбором и включением пациентов;
- вмешательством;
- расхождением с протоколом;
- пропущенными данными;
- оценкой конечной точки;
- представлением результатов.
Оценка риска интерпретируется как потенциально «низкая», «умеренная», «высокая» и «очень высокая». Данный инструмент позволяет критически подходить к полученным в мета-анализе результатам и рассматривать исследования с высоким риском смещения как менее надежные. Детальное описание возможностей данного инструмента приведено на специализированном сайте 2 .
РАЗМЕР ЭФФЕКТА В МЕТА-АНАЛИЗЕ
Исследования, объединенные в мета-анализе, обычно оценивают результаты по идентичной конечной точке. Данная оценка есть эффект, который был достигнут, или наблюдаемый эффект. Эффект традиционно обозначается греческой буквой «тета» θ, наблюдаемый эффект по каждому из k исследований обычно обозначается, как θk. Понятие эффекта, его размера и его оценки описано в нашей публикации о тестировании статистических гипотез [6].
Существуют две основные концепции, позволяющие описать и оценить эффект нескольких исследований. Обе эти концепции привязаны к соответствующим статистическим моделям с фиксированными и со случайными эффектами.
Модель с фиксированными эффектами
Эта модель подразумевает, что включенные в метаанализ исследования очень похожи друг на друга в отношении дизайна, количества пациентов, методологии проведения, оценки результатов и других параметров. Исследования представляются сходными настолько, что их результаты, или эффекты θ1,2,3. k, считают единой выборкой из одной генеральной совокупности всех возможных аналогичных исследований.
Вероятностное распределение такой совокупности имеет математическое ожидание (среднее взвешенное по вероятностям возможных значений), представляющее собой некий истинный размер эффекта θ̂ . Соответственно каждое исследование представляет собой элемент совокупности, а несколько случайно взятых из такого распределения исследований (мета-анализ) представляют собой банальную выборку.
Наблюдаемый эффект в каждом исследовании k будет отличаться от истинного на величину ошибки:
Соответственно мы считаем, что среди нескольких исследований наиболее точными являются те, где величина выборочной ошибки ϵ наименьшая (рис. 4).
РИС. 4. Схематичное представление истинного и наблюдаемых эффектов в исследованиях при использовании модели
с фиксированными эффектами
FIG. 4. Schematic representation of true and observed effects in studies using a fixed effects model
Примечание: ϵk – величина выборочной ошибки; серая линия – истинный размер эффекта; цветные прямые линии – наблюдаемые эффекты.
Note: ϵk – sampling error; grey line – true effect size; colored straight lines – observed effects
Выборка из нескольких исследований должна иметь некую центральную тенденцию или математическое ожидание, отражающее истинный размер эффекта. Таким образом, используя определение математического ожидания как среднее взвешенное, получаем:
• θ̂ – взвешенный размер эффекта по k исследованиям, являющийся результатом мета-анализа;
• θk – наблюдаемый эффект исследования k;
• wk – вес исследования k.
Из данного уравнения неясным остается, как получить вес каждого исследования. Как мы знаем, наблюдаемый эффект, полученный в исследовании k, является точечной оценкой (point estimate). В исследование k включено определенное количество пациентов, n. Мерой вариабельности эффекта θk будет его стандартная ошибка, рассчитанная как:
√n • σ – стандартное отклонение эффекта θk в исследовании k;
• n – количество пациентов в исследовании k.
В модели с фиксированными эффектами один из способов расчета весов выполняется с помощью так называемого метода обратной дисперсии (inverse variance method):
• sk 2 – квадрат стандартной ошибки эффекта θk в исследовании k;
• wk – вес исследования k.
Таким образом, в модели с фиксированными эффектами вес любого исследования обратно связан с величиной обратной ошибки эффекта в исследовании и напрямую – с количеством включенных в исследование пациентов. Допущением модели является тот факт, что ничто, кроме количества пациентов, не может влиять на вес исследования.
Данная концепция, с одной стороны, представляется излишне упрощенной. В реальном мире исследования так или иначе отличаются друг от друга и данные различия обусловлены огромным количеством факторов помимо размера выборки.
Модель со случайными эффектами
Если в мета-анализе объединены исследования различного дизайна (РКИ, когортные и т.п.), проведенные в разные годы, в разных странах, в центрах с разными стандартами оказания медицинской помощи, с протоколами вмешательств по разным клиническим рекомендациям, требуется модель, которая будет учитывать различия не только по объему выборки, но и по вышеупомянутым факторам.
Такая модель предполагает, что эффект по каждому исследованию, включенному в мета-анализ, является выборкой из собственной совокупности размеров эффекта и отличается от математического ожидания собственной совокупности на величину ϵk (рис. 5).
РИС. 5. Схематичное представление истинного и наблюдаемых эффектов в исследованиях при использовании модели со
случайными эффектами
FIG. 5. Schematic representation of true and observed effects in studies using a random effects model
Примечание: ξk – величина ошибки каждой генеральной совокупности; ϵk – величина выборочной ошибки; серая линия – истинный размер
эффекта; цветные пунктирные линии – наблюдаемые эффекты в генеральной совокупности; цветные прямые линии – в отдельных исследо-
ваниях.
Note: ξk – error of each general population; ϵk – sampling error; grey line – true effect size; colored dotted lines – observed effects in general populations;
colored straight lines – in individual studies.
Если мы включили в мета-анализ k исследований, следовательно, это k выборок из k различных генеральных совокупностей. При этом k совокупностей имеют свое распределение с математическим ожиданием в виде взвешенного размера эффекта, при этом каждая генеральная совокупность отличается от математического ожидания своего распределения на величину ξk. Такое общее распределение имеет точечную оценку, которая соответствует взвешенному эффекту в мета-анализе, θ̂, и дисперсию τ 2 .
Таким образом, точечная оценка эффекта в каждом исследовании среди k отличается от взвешенного эффекта следующим образом:
Показатель ξk объединяет различия, которые не связаны с ошибкой выборки.
Модель, которая использует данную логику, получила название модель со случайными эффектами. Веса индивидуальных исследований в такой модели рассчитываются следующим образом:
• sk 2 – квадрат стандартной ошибки эффекта θk в исследовании k;
• wk – вес исследования k;
• τ 2 – дисперсия распределения нескольких генеральных совокупностей.
В свою очередь, взвешенный эффект рассчитывается абсолютно так же, как и для модели с фиксированными эффектами:
где • θ̂ – взвешенный размер эффекта по k исследованиям, являющийся результатом мета-анализа;
• θk – наблюдаемый эффект исследования k;
• wk – вес исследования k.
Для вычисления показателя τ 2 используются различные математические подходы, наиболее часто – DerSimonian-Laird, ограниченного максимального правдоподобия (Restricted Maximum Likelihood), максимального правдоподобия (Maximum Likelihood), процедура Paule-Mandel и другие [7–9]. Выбор конкретного метода зависит от типа оценки конечной точки и от конкретной ситуации, поэтому требует консультации с биостатистиком.
HETEROGENEITY ASSESSMENT ОЦЕНКА ГЕТЕРОГЕННОСТИ
Мы выяснили, что включенные в мета-анализ исследования могут значительно различаться, более того, в зависимости от этих различий избирается та или иная модель анализа. Существует ли некая мера, с помощью которой можно оценивать степень различий? Можем ли мы как-то объяснить степень различий, и нужно ли это делать? Как определить, какие исследования больше отличаются от других? На все эти вопросы может дать ответ концепция о гетерогенности.
Гетерогенность зависит от многих причин, наиболее частые из которых:
- неверный подбор исследований для мета-анализа;
- наличие явных и скрытых факторов-модераторов, влияющих на взвешенный эффект (модератор фактически создает подгруппы с разным размером эффекта);
- небольшое количество исследований, используемых для мета-анализа.
Когда исследователи сталкиваются с избыточной гетерогенностью, например в ситуации, где у ряда исследований противоположное направление эффекта или когда крайне разный размер эффекта, необходимо разобраться, не имеет ли место ошибочное включение исследований в мета-анализ. Попытка объединить исследования, в которых оценивались совершенно разные параметры, приведет к огромной гетерогенности и не ответит на вопрос мета-анализа. Результаты такого мета-анализа будут крайне сомнительны.
Если мы считаем, что на данном этапе ошибки нет, необходимо далее искать причину высокой гетерогенности. Например, при использовании нестандартизованных показателей необходимо попытаться использовать стандартизованные. Ряд показателей может быть измерен в разных шкалах или значительно различаться на включении между исследованиями – стандартизация позволяет сгладить такие различия.
Следующей причиной высокой гетерогенности является наличие скрытых или явных модераторов или конфаундеров. Например, при оценке распространенности сердечно-сосудистых заболеваний явными модераторами являются пол и возрастная группа пациентов. Включение модератора и оценка его влияния на эффект и гетерогенность проводится с помощью метарегрессионного анализа, или метарегрессии. Дальнейший анализ подгрупп позволяет значительно снизить гетерогенность.
Наконец, малое количество исследований в метаанализе может привести к высокой гетерогенности.
По G. Rücker, существует 2 основных типа гетерогенности [10]:
- Гетерогенность, обусловленная дизайном или базовыми характеристиками. Причиной является попытка объединить в мета-анализе различные по дизайну исследования (включая тип исследования, характер вмешательства, способ оценки результатов, срок их оценки и другие параметры), а также исследования, сильно гетерогенные по когортам пациентов. Данный тип гетерогенности может приводить к статистической гетерогенности.
- Статистическая гетерогенность. Обусловлена точностью оценки и вариабельностью размера эффекта. Данную гетерогенность уже можно оценить количественно. Одной из причин (но совсем не всегда) статистической гетерогенности может быть гетерогенность, обусловленная дизайном. Methods to measure heterogeneity
Способы оценки гетерогенности
Мы рассмотрели оба типа моделей и поняли, что существует наблюдаемый эффект θ̂ k некоего исследования k, а также взвешенный эффект, который мы рассчитываем θ̂ для всех исследований мета-анализа. Мы также помним, что у каждого исследования есть свой вес wk. Отклонение наблюдаемого эффекта от взвешенного может быть направлено в любую сторону (может быть с любым знаком). Если мы возведем отклонение в квадрат, оно больше не будет привязано к направлению.
Сумма взвешенных квадратов таких отклонений получила название Cochran’s Q:
Мы можем рассчитать отклонение наблюдаемого эффекта от взвешенного по всем исследованиям.
Распределение Cochran’s Q сильно приближено к распределению χ2 с K – 1 степенями свободы, где K – количество исследований в мета-анализе.
Cochran’s Q будет расти при увеличении количества исследований в мета-анализе, а также при наличии в нем крупных исследований с большим количеством пациентов.
I 2 -статистика Хиггинса и Томпсона
Данная статистика рассчитывается с помощью Cochran’s Q и указывает на % гетерогенности, обусловленный ошибкой ξk (ошибкой, не связанной с размером выборки).
Нулевая гипотеза состоит в том, что гетерогенность отсутствует и Cochran’s Q следует распределению χ2 с K – 1 степенями свободы (ожидаемая гетерогенность). Но у нас имеется и наблюдаемая гетерогенность Q. Тогда отклонение наблюдаемой гетерогенности от ожидаемой составляет:
и выражается в долях единицы или в процентах.
Принято выделять низкую (до 25%), умеренную (25–75%) и высокую (75% и выше) гетерогенность [11].
Данная статистика рассчитывает отношение Q-статистики к K – 1: при отсутствии гетерогенности значение стремится к 1. Более высокие значения говорят о наличии гетерогенности между исследованиями.
Дисперсия гетерогенности τ 2
Истинный взвешенный эффект имеет собственную дисперсию τ2 и стандартное отклонение τ. Данная статистика хорошо подходит для оценки меры гетерогенности, имея ту же размерность, что и эффект в исследованиях в мета-анализе. Зная рассчитанный взвешенный размер эффекта θ̂ в мета-анализе, мы можем оценить 95% доверительный интервал (ДИ) истинного эффекта как θ̂ ± 1,96 × τ.
АНАЛИЗ ЧУВСТВИТЕЛЬНОСТИ
Анализ чувствительности показывает, какое влияние могут оказать отдельные исследования на взвешенный эффект, или, другими словами, насколько результаты мета-анализа устойчивы.
Одним из наиболее часто используемых способов оценки чувствительности является метод leave-one-out Каждое исследование по одному удаляется из мета-анализа, после чего размер взвешенного эффекта и гетерогенность пересчитываются. Серьезные изменения по величине размера эффекта и снижение гетерогенности указывают на то, что именно исключенное исследование оказывает существенное влияние на общий результат. Если первоначально такое исследование в графике-«светофоре» было оценено исследователями как обладающее высоким/умеренным риском смещения, оно может быть исследованием-выбросом, и необходимо рассматривать целесообразность его присутствия в мета-анализе.
Графически результаты анализа чувствительности представлены на рисунке 6.
РИС. 6. Форест-диаграмма, демонстрирующая анализ чувствительности, адаптирована из S. Balduzzi и соавт. [12]
FIG. 6. Forest plot showing sensitivity analysis, adapted from S. Balduzzi et al. [12]
Примечание: study – исследование; MD – Mean difference, разница средних; Cl – confidence interval, доверительный интервал; P-value – значе-
ние p; I2 – Higgin’s & Thompson’s I2 statistic / I2 statistic, I2-статистика Хиггинса и Томпсона / I2-статистика; common (fixed) effect model – модель
с фиксированными эффектами.
Note: MD – Mean difference; Cl – confidence interval; I2 – Higgin’s & Thompson’s I2 statistic / I2 statistic.
В примере на рисунке 6 взвешенный эффект, полученный в мета-анализе, является разницей средних (mean difference) и составил 0,16 [0,1; 0,23], мы видим, что при исключении поочередно исследований из мета-анализа взвешенный эффект существенно не меняется. При этом исключение исследования Protocol 162A существенно снижает гетерогенность, по статистике I2 до 5%. Данное исследование требует пристального внимания, так как его присутствие обуславливает высокие значения гетерогенности во всем мета-анализе.
В общем случае анализ чувствительности направлен на оценку того, как меняется взвешенный эффект при исключении исследований, которым при оценке потенциальных рисков смещения был присвоен «высокий» и «очень высокий» уровень риска. При возникновении существенного влияния на эффект при исключении таких исследований (например, в ситуации, когда после исключения исследований с высоким риском 95% ДИ нового взвешенного эффекта перестает включать точечную оценку взвешенного эффекта до исключения исследований) необходимо пересмотреть необходимость включения исследований с высоким риском в мета-анализ
ФОРЕСТ-ДИАГРАММА (FOREST PLOT)
Наиболее общим способом суммировать результаты мета-анализа является форест-диаграмма (forest plot) – специфический график, отображающий исследования, вошедшие в анализ, эффект в каждом из них, взвешенный эффект, а также ряд дополнительных характеристик, например, веса каждого исследования, показатели гетерогенности, тип выбранной статистической модели (фиксированные или случайные эффекты). Неотъемлемой частью forest plot является диаграмма, дублирующая размеры эффекта и их 95% ДИ, а также взвешенный эффект и его 95% ДИ.
Довольно часто размер точек на графике, характеризующих определенное исследование, связан с весом данного исследования (соответственно, точки наибольшего размера связаны с исследованиями с наибольшим весом).
Типичный forest plot показан на рисунке 7. Данные исследования взяты из материалов, сопровождающих библиотеку meta языка программирования R [12].
РИС. 7. Forest-диаграмма, демонстрирующая взвешенный эффект, адаптирована из S. Balduzzi и соавт. [12]
FIG. 7. Forest plot showing the weighted effect, adapted from S. Balduzzi et al. [12]
Примечание: study – исследование; experimental – экспериментальная группа; control – контрольная группа; total – общее значение; mean –
среднее значение; SD – standard deviation, стандартное отклонение; MD – mean difference, разница средних; CI – confidence interval, до-
верительный интервал; weight (common) – веса в модели с фиксированными эффектами; weight (random) – веса в модели со случайными
эффектами; common (fixed) effect model – модель с фиксированными эффектами; random effect model – модель со случайными эффектами;
heterogeneity – гетерогенность; I2 – Higgin’s & Thompson’s I2 statistic / I2 statistic, I2-статистика Хиггинса и Томпсона / I2-статистика; τ2 – Tausquared,
Тау-квадрат; P-value – значение p.
Note: SD – standard deviation; MD – mean difference; CI – confidence interval; I2 – Higgin’s & Thompson’s I2 statistic / I2 statistic; τ2 – Tau-squared.
На рисунке 7 мы видим названия исследований и год публикации результатов, характеристики основных и контрольных групп (количества, средние и стандартные отклонения – необходимые нам данные для расчета стандартной ошибки), размер эффекта (в данном случае разница средних, mean difference, MD) и его 95% ДИ, веса в моделях с фиксированными и случайными эффектами, взвешенный эффект для обоих типов моделей, а также показатели гетерогенности.
Также мы видим диаграмму с отрисовкой все тех же размеров эффекта в исследованиях (в виде квадратов, размер которых указывает на веса) и взвешенные эффекты для моделей с фиксированными и случайными эффектами (в виде ромбов).
Вертикальная сплошная черта обозначает размер эффекта, равный нулю. Так как мы имеем дело с разницей средних, если 95% ДИ отдельных исследований или взвешенных эффектов включает ноль, значит высока вероятность, что наблюдаемые точечные оценки случайны.
В настоящем примере единственное исследование, где наблюдается значимый эффект, – Florell 1971, его вес в модели как с фиксированными, так и со случайными эффектами наивысший (38,6 и 33,3% соответственно). По результатам мета-анализа модель с фиксированными эффектами показывает наличие значимого эффекта, разница средних составила -0,71 [-1,26; -0,16], при этом результаты модели со случайными эффектами оказались незначимыми: точечная оценка составила -0,75, а 95% ДИ включает ноль [-1,53; 0,03].
ЗАКЛЮЧЕНИЕ
В настоящей части статьи мы познакомились с этапами включения исследований в мета-анализ, рассмотрели существующие рекомендации, с которыми необходимо познакомиться при написании мета-анализа, детально разобрали процесс создания весов, различные типы моделей, используемых в мета-анализах. Также мы познакомились с понятием гетерогенности и способом ее вычисления. Были представлены основные графики, публикуемые в мета-анализах, такие как forest plot и график leave-oneout для анализа чувствительности. В следующей публикации мы рассмотрим, как происходит анализ подгрупп и концепцию метарегрессии, а также научимся оценивать публикационное смещение, визуально и математическими методами. Дополнительно мы вспомним, как наиболее часто оценивается эффект в мета-анализе, и остановимся на стандартизованных показателях и оценке для них стандартной ошибки.
1 Cochrane Handbook for Systematic Reviews of Interventions version 6.2 (updated February 2021). Cochrane, 2021. Available fromhttps://training.cochrane.org/handbook/current
2 https://www.riskofbias.info/ (access date 01.11.2022).
Список литературы
1. Sackett D. L., Rosenberg W. M., Gray J. A., et al. Evidence based medicine: what it is and what it isn’t. BMJ. 1996 Jan 13; 312 (7023): 71–72. doi: 10.1136/bmj.312.7023.71. PMID: 8555924
2. Page M. J., McKenzie J. E., Bossuyt P. M., et al. The PRISMA 2020 statement: an updated guideline for reporting systematic reviews BMJ 2021; 372: n71. doi: 10.1136/bmj.n71
3. Sterne J. A. C., Savović J., Page M. J., et al. RoB 2: a revised tool for assessing risk of bias in randomised trials. BMJ. 2019 Aug 28; 366: l4898. doi: 10.1136/bmj.l4898. PMID: 31462531
4. Sterne J. A., Hernán M. A., Reeves B. C., et al. ROBINS-I: a tool for assessing risk of bias in non-randomised studies of interventions. BMJ. 2016 Oct 12; 355: i4919. doi: 10.1136/bmj.i4919. PMID: 27733354
5. McGuinness L. A., Higgins J. P. T. Risk-of-bias VISualization (robvis): An R package and Shiny web app for visualizing risk-of-bias assessments. Res Synth Methods. 2021 Jan; 12 (1): 55–61. doi: 10.1002/jrsm.1411. Epub 2020 May 6. PMID: 32336025
6. Suvorov A. Yu., Bulanov N. М., Shvedova A. N., et al. Statistical hypothesis testing: general approach in medical research. Sechenov Medical Journal. 2022; 13 (1): 4–13. doi: 10.47093/2218-7332.2022.426.08
7. Viechtbauer W. Bias and efficiency of meta-analytic variance estimators in the random-effects model. Journal of Educational and Behavioral Statistics, 2005; 30 (3): 261–293. doi: 10.3102/10769986030003261
8. Veroniki A. A, Jackson D., Viechtbauer W., et al. Methods to estimate the between-study variance and its uncertainty in meta-analysis. Res Synth Methods. 2016 Mar; 7 (1): 55–79. doi: 10.1002/jrsm.1164. Epub 2015 Sep 2. PMID: 26332144
9. Langan D., Higgins J. P. T., Jackson D., et al. A comparison of heterogeneity variance estimators in simulated random-effects meta-analyses. Res Synth Methods. 2019 Mar; 10 (1): 83–98. doi: 10.1002/jrsm.1316. Epub 2018 Sep 6. PMID: 30067315
10. Rücker G., Schwarzer G., Carpenter J. R., Schumacher M. Undue reliance on I(2) in assessing heterogeneity may mislead. BMC Med Res Methodol. 2008 Nov 27; 8: 79. doi: 10.1186/1471-2288-8-79. PMID: 19036172
11. Higgins J. P., Thompson S. G. Quantifying heterogeneity in a meta-analysis. Stat Med. 2002 Jun 15; 21 (11): 1539–1558. doi: 10.1002/sim.1186. PMID: 12111919
12. Balduzzi S., Rücker G., Schwarzer G. How to perform a meta-analysis with R: a practical tutorial. Evid Based Ment Health. 2019 Nov; 22 (4): 153–160. doi: 10.1136/ebmental-2019-300117. Epub 2019 Sep 28. PMID: 31563865
Об авторах
ФГАОУ ВО «Первый Московский государственный медицинский университет им. И. М. Сеченова» Минздрава России (Сеченовский Университет)
Россия
Александр Юрьевич Суворов, канд. мед. наук, главный статистик
Центр анализа сложных систем
ул. Трубецкая, д. 8, стр. 2
ФГАОУ ВО «Первый Московский государственный медицинский университет им. И. М. Сеченова» Минздрава России (Сеченовский Университет)
Россия
Ирина Викторовна Латушкина, младший научный сотрудник
Центр анализа сложных систем
ул. Трубецкая, д. 8, стр. 2
Тел.: +7 (916) 126-12-85
ФГАОУ ВО «Первый Московский государственный медицинский университет им. И. М. Сеченова» Минздрава России (Сеченовский Университет)
Россия
Ксения Александровна Гуляева, аспирант
кафедра пропедевтики внутренних болезней, гастроэнтерологии и гепатологии
ул. Трубецкая, д. 8, стр. 2
ФГАОУ ВО «Первый Московский государственный медицинский университет им. И. М. Сеченова» Минздрава России (Сеченовский Университет)
Россия
Николай Михайлович Буланов, канд. мед. наук, доцент
кафедра внутренних, профессиональных болезней и ревматологии
ул. Трубецкая, д. 8, стр. 2
ФГАОУ ВО «Первый Московский государственный медицинский университет им. И. М. Сеченова» Минздрава России (Сеченовский Университет)
Россия
Мария Юрьевна Надинская, канд. мед. наук, доцент
кафедра пропедевтики внутренних болезней, гастроэнтерологии и гепатологии
ул. Трубецкая, д. 8, стр. 2
ФГАОУ ВО «Первый Московский государственный медицинский университет им. И. М. Сеченова» Минздрава России (Сеченовский Университет)
Россия
Алексей Анатольевич Заикин, канд. физ-мат. наук, заместитель директора
Центр анализа сложных систем
ул. Трубецкая, д. 8, стр. 2
Онлайн-инструмент помогает журналистам анализировать расходы на политическую рекламу в социальных сетях
В преддверии промежуточных выборов в Конгресс США, которые состоялись 8 ноября, количество распространяемой в стране политической рекламы значительно возросло. По данным системы OpenSecrets, отслеживающей финансирование избирательных кампаний, в этом году на политические кампании будет потрачено более 9 миллиардов долларов США. Только в сентябре было потрачено 50 миллионов долларов.
Львиная доля этих средств тратится на политическую рекламу в социальных сетях. Недавно усовершенствованный онлайн-инструмент Ad Observatory помогает журналистам анализировать характер таких расходов.
На вебинаре, прошедшем в рамках организованной ICFJ программы Форум Памелы Ховард по освещению глобального кризиса, Нэнси Ватцман, стратегический советник Инициативы по кибербезопасности Нью-Йоркского университета и основательница Lynx LLC, рассказала, как журналисты могут использовать Ad Observatory для анализа политической рекламы в социальных сетях.
Как это работает
Ad Observatory, созданная в Инженерной школе Тандон Нью-Йоркского университета, позволяет пользователям искать данные о политической рекламе в социальных сетях, принадлежащих Meta, материнской компании Facebook и Instagram. Параметры поиска могут включать ключевые слова, темы, имена спонсоров или названия регионов. С помощью этого инструмента пользователи также могут вручную выполнять базовый логический поиск и находить связанные друг с другом ключевые слова.
Инструмент использует данные из общедоступной библиотеки рекламы Meta, архива всех объявлений, опубликованных на принадлежащих Meta ресурсах. Он объединяет эти данные с доступной информацией о выборах и создает на их основе легкие для понимания графики. Эти визуализации могут отображать данные по расходам, произведенным в течение какого-то времени, по основным спонсорам, по типу рекламы и идеологической направленности — или по демографическим характеристикам аудитории. Данные также могут быть ограничены временными рамками — например, если журналист ищет информацию о расходах на рекламу за определенное время.
Этот дополнительный уровень обработки данных делает инструмент Нью-Йоркского университета более эффективным источником для журналистов, чем библиотека рекламы Meta, объясняет Ватцман. «Мы не столько предоставляем [данные], сколько добавляем к ним аналитическую информацию. Такое вы не найдете в Facebook. У нас также есть классификация объявлений, в ней три категории: «купить», «убедить» или «соединить». Это не то, что предоставляет Facebook; мы придаем информации дополнительную ценность», — говорит она.
Однако, отмечает Ватцман, в Ad Observatory нет отдельных примеров сообщений, помеченных как политические — только собранная общая информация. Пользователям придется зайти в библиотеку рекламы Meta, чтобы увидеть эти сообщения.
«Та информация, которую можно найти в библиотеке рекламы Meta, — это «деревья», а мы в [Ad Observatory] показываем «лес». Если вы хотите вернуться в библиотеку и найти конкретное «дерево», то библиотека объявлений будет вам очень полезна».
Как использовать этот инструмент
Журналисты используют данные Ad Observatory, чтобы улучшать свои материалы о политике. Вот некоторые примеры: можно узнать, какие кандидаты больше используют рекламу в социальных сетях; сравнить расходы одного кандидата за разные периоды времени, чтобы сделать выводы о политических устремлениях; лучше понять актуальные политические темы, такие как иммиграция и аборты; а также расследовать случаи политического спонсорства.
По словам Ватцман, данные Ad Observatory лучше всего использовать вместе с заархивированной рекламой из библиотеки рекламы Meta и на других сайтах, таких как сайт исследовательской группы OpenSecrets, предоставляющей данные о деньгах в американской политике. Ватцман призывает журналистов не делать поспешных выводов, основываясь исключительно на информации Ad Observatory, о силах, стоящих за победителями или проигравшими в выборах.
Лучше всего использовать информацию Ad Observatory как дополнинительный инструмент для лучшего понимания более обширных тем, связанных с тенденциями в политике. Эти материалы также пригодятся, чтобы привлечь внимание к отсутствию доступной информации, поскольку нет правил, определяющих, какую рекламу должны публиковать Meta и другие социальные сети.
«Мы многого не знаем, и причина, по которой мы не знаем — в том, что этого не требуется. Нам просто нужно доверять Meta, чтобы идентифицировать эти политические рекламные сообщения», — говорит Ватцман.
Использование инструмента на международном уровне
В настоящее время этот инструмент наиболее эффективен при анализе англоязычной рекламы из США. Отчасти это связано с тем, что источник исходной информации — библиотека рекламы Meta не очень хорошо классифицирует политическую и обычную рекламу в других странах. Хотя вы можете использовать Ad Observatory для анализа рекламы на испанском языке, полученные результаты будут не такими детальными, как результаты на английском языке.
«Мы используем довольно консервативную методологию для определения того, сделано ли рекламное объявление на испанском языке. Мы все еще дорабатываем эту модель, — говорит Ватцман. — На что мы действительно надеемся — так на то, что полученный нами опыт в области обнаружения языков и рекламы будет полезен для отслеживания рекламы во время выборов во всем мире».
Ватцман подчеркнула, что Ad Observatory была создана на основе уникальной портативной инфраструктуры, которую команда Нью-Йоркского университета надеется распространить по всему миру. По словам Ватцман, помимо создания Ad Observatories на других языках, команда также надеется интегрировать в алгоритмы этого инструмента жаргон и идиомы, характерные для разных регионов и стран.
«Иногда в объявлениях об иммиграции [в США] слово «иммиграция» не упоминается. Используются кодовые слова, которые различные организации, представляющие крайние политические течения, признают относящимися к этой теме, например, «караван» [сленг крайне правых организаций], — говорит Ватцман. — Я думаю, что в каждой стране будут использоваться очень-очень конкретные термины, и значит, тематическая модель должна быть разной. Один из вопросов, который изучается — как построить гибкие тематические модели, которые будут отражать разные языки и разные выражения, используемые для обозначения тех или иных вещей».
Промежуточные выборы и дальнейшее развитие
Говоря о промежуточных выборах в США, Ватцман сказала, что политическая реклама в социальных сетях будет становиться все более агрессивной.
«Ее будет трудно отследить. Будет трудно понять, что происходит. Это будет просто шквал, — говорит она. — Это очень важные выборы в США, и у многих людей на карту поставлено очень многое. Нам нужно, чтобы журналисты следили за тем, что происходит».
Ватцман призывает всех, кто хочет внести вклад в улучшение Ad Observatory или у кого есть вопросы об этом инструменте, связаться с командой инициативы Нью-Йоркского университета по кибербезопасности для демократии.
«После того как выборы закончатся, мы хотим понять, какими должны быть наши следующие проекты. Поэтому мы всегда готовы к разговору», — говорит она.