Наука и жизнь
30.06.2018
Павел Потапейко
Кандидат исторических наук, переводчик, публицист
Грядёт «революция роботов»
Что сегодня происходит с искусственным интеллектом
-
Участники дискуссии:
-
Последняя реплика:
Грядет «революция роботов» — с этим согласно большинство исследователей. Ее важнейшей частью станет развитие искусственного интеллекта. А вот тут споров немало.
Прежде всего следует отметить, что до сих пор среди ученых нет единого мнения, что это такое. Более того, нет и строгого определения, что есть интеллект вообще. Есть мнение, что интеллект вообще чисто биологический феномен, недоступный машине.
Мыслящая машина
Существующие взгляды на ИИ сводятся к двум. Во-первых, есть наука о создании интеллектуальных машин и программ, технология их создания и моделирования творческой деятельности человека. Во-вторых, это способность машин к творчеству и самостоятельному обучению, а также осознанию пределов своих возможностей.
Перевод artificial intelligence как «искусственный интеллект», не вполне точен. Intelligence — умение рассуждать, а то и вообще «разведка». Интеллект — это intellect. Но и за рубежом в нем тоже видят интеллект. Американский ученый Джон Маккарти, отец понятия «искусственный интеллект», в 1956 г. говорил, что пока нельзя определить, какие вычислительные операции считать интеллектуальными, да и вообще люди не разобрались в своем интеллекте. Он дал такое определение ИИ: это «вычислительная составляющая способности достигать целей».
Сейчас доминирует мнение, что искусственный интеллект — это способность системы создавать в ходе самообучения решения задач определенной сложности и выполнять их.
Его структура состоит из трех главных элементов: базы данных, «решателя» и интеллектуального интерфейса, позволяющего общаться. Цель — сделать его способным к разумным рассуждениям и действиям при помощи устройств и программ. Но пока нет критериев, что же можно назвать «разумностью» в случае машин.
Изменился объем данных, с которыми работает человек — терабайты и петабайты, с которыми крайне сложно справиться обычными методами анализа. К примеру, операторы АЭС или пилоты имеют доступ к десяткам экранов, каждый из которых мало значим, но их комплекс позволит выявить проблему. Человек не может одновременно следить за 50 экранами, что требует систем анализа данных и вывода на один экран только важного.
В мире количество проектов в сфере ИИ за 3 года выросло в несколько раз. Если в 2015 г. было заявлено о 17, то в 2017 — уже о 74. В 85% случаев заказчиком выступает крупный бизнес. Лидируют США, затем идут Великобритания и Индия.
Немного истории
К середине ХХ в. сложились условия для исследований в этом направлении. Была разработана теория алгоритмов, созданы компьютеры, нейрофизиологи начали постигать мозг. Экономисты и социологи взяли математические подходы для формализации знания, оптимальных расчетов. Все это задало новый поворот дискуссиям философов и писателей о природе человека. Возник вопрос: каковы пределы возможностей компьютера?
Любопытно, что еще в 1832 г. в России Семен Корсаков опубликовал описание изобретенных им механических устройств («гомеоскопов» и др.), помогающих поиску и классификации данных. Причем он впервые применил перфокарту, обогнав свое время.
Гомеоскоп Семена Корсакова. Фото: mosregtoday.ru
В 1950 произошел прорыв. Британский ученый Алан Тьюринг в статье «Может ли машина мыслить» (в журнале Mind) предложил «тест Тьюринга». Суть такова: человек общается с компьютером и с другим человеком — письменно, не видя собеседников, задает вопросы и получает ответы. И машину можно посчитать разумной, по Тьюрингу, если человек не распознает, где ответы машины. Возникла и другая точка зрения: искусственный интеллект возникнет тогда, когда машина научится чувствовать и творить.
В СССР искусственным интеллектом занялись в 60-е гг. Целый ряд ученых Академии наук, МГУ и др. —В. Пушкин, Д. Поспелов, М. Цейтлин, С. Маслов, В. Турчин — добилась успехов по таким направлениям, как автоматический поиск доказательства теорем.
Стали складываться два основных макро-подхода к разработке искусственного интеллекта.
«Восходящий» (Bottom-Up или «биологический») предполагает изучение нейронных сетей и введение биологических элементов, на основе которых и моделируется поведение. Здесь речь идет о нейро- и биокомпьютере.
«Нисходящий» (Top-Down или «семиотический») — имитация психических процессов (мышления, эмоций и др).
В их рамках стали формироваться подходы. Первым стал символьный, основанный на языках символьных вычислений и ориентированный на поиск только существенной информации для эффективного решения задач. Но в программу заложен лишь один метод работы с данными, аналитику выполняет человек. Чем нестандартнее задача, тем больше усилий. Надо учиться новым правилам по ходу, а машине с этим непросто.
Затем стали применять логический подход: через моделирование логики и рассуждений. Был создан язык «Пролог», использующий набор данных и правил логического рассуждения без жесткого алгоритма их использования.
В 90-е появился агентоориентированный подход, согласно которому машина — «интеллектуальный агент» человека, воспринимающий среду через датчики и действующий при помощи различных механизмов. Здесь упор делается на отборе методов и алгоритмов, позволяющих выживать в среде и выполнить задачу.
Возник и подход, сочетающий элементы других — гибридный. Здесь основа — синергия нейронных и символьных моделей, позволяющая расширять веер возможностей.
К концу века зашли в тупик усилия создать искусственный интеллект путем имитации человеческого. Ренессанс начался в 2000-х гг., когда ряд математиков и программистов предложили алгоритмы ИИ, названные методами «глубинного обучения» и «обучения на базе многообразий».
К 2012 г. Дж. Хинтон, А. Крижевский и И. Сацкевер из Торонто (Канада) вдохнули новую жизнь в подход через нейронные сети. Объединенные в каскады и сложные системы, они могут решать задачи, которые ИИ раньше решать не мог: распознавать речь, изображения, предсказывать катастрофы.
В США центрами развития ИИ являются Массачусетский технологический институт и Исследовательский институт машинного интеллекта. В Японии — Национальный институт современной промышленной науки и технологий (AIST). В Индии — Индийский технологический институт (г. Мадрас). В Германии — Немецкий исследовательский центр искусственного интеллекта. В России ИИ курирует Научный совет по методологии искусственного интеллекта РАН.
Основные пути развития искусственного интеллекта
Долгое время магистральным путем развития ИИ было моделирование мыслительных процессов и рассуждений. Создается система символов, ставится формализованная (математически) задача на входе, а на выходе ожидается решение. Причем алгоритм не задан. Так машины доказывают теоремы, прогнозируют и т.д.
Другим основным направлением стало машинное обучение — получение знаний самостоятельно. Еще в 1956 г. американец Рэй Соломонофф наметил его: машина должна уметь без «учителя» распознавать образы в потоке и классифицировать их, совершенствуя эти способности в процессе «самоподготовки».
Обучение, как и с детьми или животными, предполагает поощрение и наказание. Критерием правильности может быть, например, полезность. Задачи — например, распознавание речи, символов, текста. Тут все заметнее биологическое моделирование и совершенствование компьютерного зрения.
Важное направление — работа с естественным языком. Машина должна максимально уйти от механического понимания текста, что особо важно для перевода. Пока, к слову, не удалось достичь хорошего машинного перевода.
Также важна инженерия знаний — получение их из массива информации и последующая систематизация. Здесь наработки опираются на экспертные системы — программы, использующие специализированные базы данных для выводов по проблеме.
Такое направление, как биологическое моделирование, основано на развитии нейронных сетей. Сторонники этого подхода считают, что человеческое поведение, способность к обучению и адаптации есть результат именно биологической структуры. Есть интересная идея, что машины, как и люди, могут совершенствоваться «генетически»: алгоритм может стать лучше, наследуя лучшие характеристики алгоритмов-«родителей».
Наконец, большая работа идет в области машинного творчества. ИИ учат писать музыку, картины, стихи, выступать в качестве художника в фильмах и играх.
Картина, написанная нейронной сетью. Фото: meduza.io
Есть и другие направления: системы безопасности, интеграция с роботами и др.
С одной стороны, ставится задача приблизить ИИ к человеку (и даже их интегрировать), т.е. усилить человеческий интеллект. С другой — интегрировать все наработки в единую систему, суперинтеллект, для решения проблем человечества.
Искусственный интеллект и познание
Относительно недавно искусственный интеллект и столь же молодые науки — нейрофизиология, когнитивная психология и эпистемология (раздел философии, изучающий знание) сформировали когнитологию (от cognition — познание). Все они, казалось бы, из разных сфер, но междисциплинарность открывает новые аспекты.
В рамках философии также возникает целое направление — философия искусственного интеллекта. Ведь он затрагивает ряд фундаментальных проблем — человек, знание, картина мира. Философия ИИ ставит две группы вопросов: «до» и «после». Первая — о его сущности, вторая же — этическая: что он несет человечеству.
На главный вопрос «Может ли машина мыслить?» до сих пор нет ответа. Идут дебаты между сторонниками гипотез «сильного» и «слабого» ИИ. Первые доказывают, что он будет не моделью разума, а именно разумом в человеческом смысле. И задаются вопросом о «метаразуме», постигающем проблемы, но лишенном человеческих сомнений. Вторые же считают его лишь орудием, не способным подняться к познанию. На основе формальных схем по-настоящему мыслить нельзя, говорят они.
Этическая сторона искусственного интеллекта занимает философов и фантастов не меньше. Так, трансгуманисты считают его создание одной из важнейших задач человека. В американском Институте сингулярности (SIAI) этика ИИ стала особым направлением, его ведет Элиезер Шломо Юдковски. Он пишет о важности запрограммировать ИИ на дружественное отношение к человеку, иначе он может натворить дел.
Теологи пока высказывались мало. Далай-лама заявил, что нельзя считать машины обладающими сознанием и познанием. Православный протоиерей Михаил Захаров отметил, что созданное человеком искусственное существо, превосходящее его интеллектом, все равно творение Божие. Ведь положение Библии о сотворении человека не следует понимать буквально — мол, Бог вылепил его руками. Это иносказание, указывающее на волю Божию, без которой ничего не происходит. Ведь создает же человек новые виды животных и растений, а все они творения Божьи, заключает богослов.
Интересную мысль высказал марксист Эвальд Ильенков в работе «Диалектическая логика»: машина не может мыслить разумно, диалектически. Идея, что появится машина, мыслящая как человек — продукт неопозитивизма. Для марксизма самая сложная машина остается инструментом. Но капитализм и человека низводит до положения вещи через отчуждение результатов труда. Отсюда и взгляд на мышление как функцию.
В фантастике искусственный интеллект либо обслуживает человека, либо борется с ним. Роман «Выбор по Тьюрингу» Гарри Гаррисона и Марвина Мински — об утрате человечности человеком, в мозг которого вживлена ЭВМ, и человечности машины с ИИ, куда скачана информация из мозга человека. Много писали об ИИ А. Азимов, Р. Хайнлайн, С. Лем. Они затрагивают этику: достижение им самосознания, построение им абсолютного тоталитарного порядка, бегство роботов и создание ими своего мира, мифологии и т.п. И даже психиатрической клиники для роботов с искусственным интеллектом!
Победы и успехи
Вместе с тем список достижений искусственного интеллекта впечатляет уже сегодня.
Знаменитый Deep Blue обыграл в шахматы самого Каспарова. Watson, созданный IBM, победил в американской телеигре Jeopardy!, похожей на «Свою игру». Искусственный интеллект распознает цели для ПВО. Торговые компании оценили его способность анализировать продажи со скоростью, превышающей любых экспертов, а это миллионы сделок в день. Только за 2017 г. в его разработки венчурный капитал инвестировал $12 млрд.
Банки и финансисты вкладываются не зря. Он моментально обрабатывает новости, отчеты брокеров, истерики в соцсетях и выдает анализ настроений и трендов. Например, UBS и Deutsche Bank используют Sqreem, мгновенно дающий характеристики потребителей и их преференций. Goldman Sachs с помощью платформы Kensho анализирует рынок через «большие данные», Интернет и новости, определяя воздействие на активы. Есть и советники для индивидуальных клиентов.
Гарри Каспаров играет в шахматы против ИИ Deep Blue. Фото: media.pri.org
Очень серьезно относится к искусственному интеллекту медицина.
Нейронные сети все шире применяются в диагностике. ИИ анализирует томографию и выявляет отклонения, заболевания (например, опухоли), анализирует сердечный ритм. Он помогает обрабатывать записи, консультировать, справляться с рутиной (например, выдачей таблеток), дозировать компоненты лекарств.
Роботы, наделенные ИИ, ухаживают за престарелыми и парализованными, служат манекенами для обучения студентов. Сегодня в мировой медицине уже под сотню стартапов, использующих ИИ.
Искусственный интеллект решили применять и… в работе с кадрами. Тут наиболее перспективны три направления: сортировка резюме, прогнозирование профпригодности и автоматизация рутинных задач. ИИ может многое: скрининг резюме, анализ мимики, черт лица, речевых сигналов, скоростной поиск информации в базе, разработка эффективных сценариев собеседования. Стартап Pomato анализирует резюме, выполняя более 200 тысяч вычислений за секунды. Компания Unilever сократила обработку заявлений, сэкономив более 50 тыс. часов. TextRecruit выпустил автоматизированный интерфейс Ari — набор чатов в форме бесед с кандидатами. Чат-боты экономят на сотрудниках онлайн-сервисов.
ИИ уже пишет симфонии для голливудских фильмов. AIVA (Artificial Intelligence Virtual Artist) — первый виртуальный композитор, признанный профессиональной музыкальной организацией. Google Magenta в 2016 г. впервые в истории написал мелодию. В лаборатории SONY CSL программа Flow Machines изучила гигантскую базу данных поп-музыки и создала 90-секундную мелодию, правда, пока она очень проста. В том же 2016 г. японский ИИ едва не завоевал литературную премию за рассказ…
«Папин автомобиль» — песня в стиле «Битлз», сочиненная искусственным интеллектом.
Компания Narrative Science уже поставила на поток новости и репортажи о спорте и недвижимости, анализируя статистику. Automated Insights в 2013 г. написала для Yahoo Sports 350 миллионов текстов, а в 2014 г. — под миллиард. Стартап Echobox выпускает программы, помогающие грамотно размещать материалы в соцсетях, анализируя обширный объем данных и определяя, кто как реагирует на те или иные публикации в зависимости от времени суток. ИИ готовит для Yseop массу всего — от комментариев до финансовых отчетов — со скоростью в тысячи страниц в секунду на нескольких языках.
Вспомним первые попытки применить искусственный интеллект на дому — тамагочи, ферби, собаку Aibo… Mattel делает такие игрушки даже для трехлеток — они понимают, отвечают, учатся. Корнеллский университет создал «состязательные сети», овладевшие принципами игры DOOM и создающие новые уровни без помощи людей.
Искусственный интеллект может фильтровать спам, распознавать голоса даже в шумной комнате (или в метро), видеть невербальные сигналы, обеспечивать навигацию и преодоление препятствий. Значит, в сфере безопасности также будут перемены.
Есть достижения и в производстве. Так, искусственный интеллект помог в 200 раз ускорить разработку металлического стекла, прочнее, легче и устойчивее к коррозии, чем даже сталь, да и дешевле. Это совместный проект министерства энергетики США, Национального института стандартов и технологий и Северо-западного университета.
Илон Маск создал компанию Neuralink, которая будет заниматься слиянием человеческого разума с ИИ, имплантируя нейрокомпьютерный интерфейс в мозг для его усиления и «мониторинга». Это поможет лечить паралич или болезнь Паркинсона. Но оцифровка сознания, пусть и ради усиления наших умственных способностей?..
Трансгуманисты советуют задуматься: а ведь мы можем неизмеримо усилить интеллект, изменить мышление, общение и ощущение мира. Скажем, транслировать мысли и эмоции другим людям. Не означает ли это некий вариант цифрового бессмертия?
Швейцарские разработчики научили парализованных обезьян ходить с нейропротезами. Там создан экзоскелет кисти руки, управляемый мыслью. Электроды размещены на резиновом шлеме. Импульсы мозга идут от него на металлические «сухожилия», закрепленные на запястьях и пальцах липучками-фиксаторами, рука двигается. Экзоскелет легок в обращении, устанавливается за минуты и может управляться движением глаз, что важно для обездвиженных. Он тестирован на переживших инсульт и травмы позвоночника. Парализованные могут печатать силой мысли. В этом году достигнуто умение связывать нескольких людей волнами мозга…
Футурологи — например, Джейсон Силва — предсказывают слияние людей с искусственным интеллектом. Они считают, что смартфоны и подобные гаджеты уже превращают нас в киборгов. Энди Кларк и Дэвид Чалмерс выдвинули теорию «расширенного разума»: технологии позволяют выйти за пределы физических возможностей.
Илон Маск утверждает, что слияние биологического и искусственного интеллекта дает нам шанс остаться «биологически ценными».
Глубинные нейронные сети умеют описывать происходящее на фотографиях и видеороликах. Это поможет слепым и глухим, а спецслужбы будут использовать для поиска террористов и подозреваемых в видеоархивах или в местах скопления людей.
Недавно компания Baidu, которую называют «китайским Google», объявила о создании нейронной сети, воспроизводящей голос после анализа всего нескольких секунд записи. До того нужны были более длительные образцы. VoCo от Adobe имитировала голос после 20-минутной записи. Lyrebird от канадского стартапа — после всего минуты. Baidu выходит вперед. Такие программы могут помочь, скажем, потерявшим голос, либо убаюкать ребенка дистанционно. Не говоря уж о целях спецслужб…
DARPA, работающая на Пентагон, разработала обнаружение «когнитивно-технологических угроз». Это камера, способная видеть на 10 км. Она считывает ЭЭГ мозга и угрозу в мозговых волнах солдата. Информация направляется в компьютер и сигнализирует: «Это угроза, стреляй». Причем до того, как солдат решает действовать.
Разница в миллисекундах, но они могут быть решающими. Правда, есть проблема: программа пока не различает своих и врагов.
А Lockheed Martin разрабатывает ИИ, предсказывающий войны как погоду. С 2001 г. система W-ICEWS собрала более 30 млн образцов данных из новостей. По ним интеллект iTRACE определяет, что говорит о войне.
В январе 2016 г. медиа сообщили о сенсации. Созданный Google искусственный интеллект AlphaGo впервые обыграл в древнюю китайскую стратегическую игру го чемпиона Европы, да еще и со счетом 5:0. Чемпион мира, наблюдавший за матчем, не скрывал своего потрясения. Глава разработчиков Дэвид Силвер подчеркнул, что до того любые интеллектуальные системы могли обыграть максимум сильного любителя.
Дело в том, что в го намного больше ходов и комбинаций, чем в шахматах, игру почти нельзя просчитать математически. Группа Силвера построила ИИ на двух нейросетях: одна оценивает текущую позицию на доске, а вторая использует ее анализ для выбора хода. Это позволило выбор оптимума из «леса» вариантов.
Искусственный интеллект долго учился тонкостям у профи, игравших на первых стадиях саморазвития AlphaGo. Была собрана база из 30 миллионов игровых позиций, на которой тренировался искусственный интеллект. А затем он продолжил самосовершенствование, следя за онлайн-матчами и играя сам с собой. Знатоки отмечали, что нельзя было понять, где человек, а где машина.
Неожиданный ход
Но что если идти путем усиления интеллекта самого человека биологически, а не через машины?
Вал информации нарастает едва ли не в геометрической прогрессии. К 2025 г., по оценкам специалистов, человечество будет производить в десять раз больше информации в год, чем в 2015 г. И ее хранение становится большой проблемой, нужно думать над эволюцией накопителей. Возникают различные идеи альтернативного плана. И не все связаны с искусственным интеллектом. А если расширить возможности человека?
Например, накопителем может стать ДНК. Именно это предложили ученые из Технологического института г. Уотерфорда (Ирландия). Они используют для архивации и записи данных бактерии, сохраняя 1 зеттабайт данных всего в 1 грамме ДНК.
Руководитель проекта, доктор Саситхаран Баласубраманьям, увидел в ДНК некое подобие программного обеспечения клетки, с кодом, описывающим ее функциональность. Поэтому, рассуждает он, его можно использовать и для хранения информации! Преобразовав в нуклеотиды.
Правда, технология очень дорога. Она основана на плазмидах — молекулах ДНК, отдельных от геномных хромосом, которые будут кодировать и хранить информацию в штамме Novablue бактерий кишечной палочки E Coli. Этот штамм имеет фиксированное положение, обеспечивающее сохранность данных. А те можно извлекать и перемещать с помощью мобильного штамма бактерий HB101 той же палочки.
Контроль над процессом будет осуществляться с помощью антибиотиков стрептомицина и тетрациклина. Для поиска данных нужно до трех дней, но, считают исследователи, его можно ускорить — уже есть методы записи данных в ДНК за секунды.
Оборотная сторона медали
Однако далеко не все так однозначно. Наряду с сообщениями об успехах в создании искусственного интеллекта есть и скептические голоса. Некоторые задаются вопросом: а не блеф ли это все? Существует ли вообще в реальности такое явление? Другие, не сомневаясь в его наличии, скептически относятся к «понтам» ученых и бизнеса.
Исследователь обработки естественного языка Эрик Камбриа из сингапурского университета Нанъянг заявляет: «Сегодня искусственным интеллектом в сущности никто не занимается, но все утверждают это, потому что здорово звучит».
Выступая на Всемирном экономическом форуме, доктор Ли Кайфу, тайваньский венчурный капиталист и президент-основатель Google China, съязвил: «Каждый бизнесмен пытается подать свою компанию как развивающую искусственный интеллект или сказать, что инвестирует в него». Но стартапы-пузыри, привлекшие не разобравшихся инвесторов, лопнут, сказал он. Однако Ли уверен, что ИИ — реальность.
Немало материалов об искусственном интеллекте отличается смешением понятий, отмечают эксперты. Ажиотаж ясности не способствует. Крупные инноваторы упрекают друг друга в недопонимании сути вопроса, как Илон Маск Марка Цукерберга.
Э. Камбриа считает, что сегодня ни одна машина не сравнится с самым тупым человеком. К тому же мы до сих пор не знаем, как работает мозг. Мощные инструменты классификации данных впечатляют, но работают не так, как человеческое познание. Если они дают доступ к недостижимым ранее вычислениям, это не значит, что они научились сложностям наших познавательных процессов. «Компании просто используют трюки, чтобы их машины вели себя похоже на интеллект». Наработки в этой области имеют узкий характер. Обыгрывающий чемпионов в го ИИ не умеет отвечать на вопросы, и т.д. А не владеющий темой может решить, что у лампочки на крыльце, зажигающейся при появлении кого-либо, тоже есть ИИ.
Предложена классификация на «вспомогательный», «дополненный» и «автономный» интеллект. Вспомогательный — это, например, GPS-навигатор. Дополненный «позволяет людям делать то, чего они не могли бы иначе». Автономный «позволяет машинам действовать самостоятельно» (беспилотники).
В дискуссиях на тему искусственного интеллекта можно встретить сомнения полярного характера. Так, одни верят, что он рано или поздно станет всемогущим, но опасаются «оцифровки» человеческого мозга и способности вторжения в него.
Кто-то видит проблему в том, что ИИ окажется доступен элитам, государству, мафии, спецслужбам, террористам, «сумрачным гениям», но не простому человеку. Другие, напротив, иронизируют над проколами того, что подается как искусственный интеллект. Третьи считают, что его развитие заставит человека вымереть подобно динозаврам. У многих вызывает тревогу перспектива вытеснения рабочих мест и многих профессий, появления новых луддитов и движений, стремящихся к архаизации, остановке прогресса.
Растут опасения и другого характера. Портал New Scientist сообщает, что создан голос, который при проверке системой распознавания в 95% случаев смог ее обмануть. Уже есть программы, которые при помощи нейронных сетей меняют лица на видео. А технология, способная имитировать голос, может вылиться в волну фейка, где известные люди будут говорить невесть что.
Если сегодня многих удается обмануть фотошопом, то что будет, когда фейком займется искусственный интеллект?
ИИ, разработанный компанией NVIDIA, уже создает фейковые видео, которые не каждый специалист сможет отличить от настоящих, на ходу преобразует видеоролики. Скажем, на видео, снятом зимой, программа меняет пейзаж на летний. Или кошек на леопардов. Так что скоро нельзя будет с уверенностью сказать, настоящее перед нами видео или фейк.
Окончание следует
Дискуссия
Еще по теме
Еще по теме
Павел Потапейко
Кандидат исторических наук, переводчик, публицист
Грядёт «революция роботов»
Окончание
Павел Потапейко
Кандидат исторических наук, переводчик, публицист
На пороге технологической революции — 2
10 самых влиятельных технологий
Павел Потапейко
Кандидат исторических наук, переводчик, публицист
На пороге технологической революции
Распечатанная еда и смартфон-переводчик
Хищные вещи XXI века
Пётр Капица о бесперспективности альтернативной энергетики
ТОЧКА В КАРЬЕРЕ ШОЛЬЦА
Нужно, а не нудно. Извиняюсь! Одна буква, а как уродует.
ВЕСТОЧКА ОТ СВЕТЛАНЫ
УКРАИНА НАМ ВРЕДИЛА, А НЕ РОССИЯ
Пора бы уже и книгу выпустить о свидетельствах очевидцев и о жертвах украинского террора.
ВОЗВРАЩЕНИЕ ЖИВЫХ МЕРТВЕЦОВ
ЭПОХА КАРДИНАЛЬНЫХ ПЕРЕМЕН
А что,по Вашему личному мнению,убеждению?Не порождено ТарасоБульбенным Западом ?????)))))
ДЫМОВАЯ ЗАВЕСА
ЗАБЫТЫЙ ОТРЯД
Эти русские поразительны. Не зря А. В. Суворов любил говаривать: "пуля дура, штык - молодец!"