DayByDay

Excel и случайные числа

2012-01-16T06:34:00.000-08:00

Заполнить ячейку случайным числом (распределение - равномерное на [0,1]) можно с помощью функции СЛЧИС().

Если нужно какое-то другое распрделение используем квантильное преобразование :
y = F ^-1(x), где x - равномерно распределенная сл.вел., F - требуемая функция распределения.

Multigrid - коротко

2011-11-20T04:59:00.000-08:00

Актуальная вещь - мультигрид. Надо в нем разобраться.

В первом приближении это выглядит так. Решаем дифференциальную задачу на нескольких сетках: P_k, P_(k-1), ..., P_1. Сетка P_k - самая подробная, P_1 - самая грубая. После дискретизации задачи на сетках получаем СЛАУ T_k x_k = b_k, ..., T_1 x_1 = b_1.

Первую СЛАУ (с T_1) решаем точно - она маленькая. Решение этой задачи используем как приближение (сначала интерполируем на более подробную стеку) для 2й СЛАУ.

Решение задач на мелких сетках осуществляем следующим образом. С помощью оператора сглаживания улучшаем начальное приближение (подавляем высокочастотную погрешность). Затем вычисляем невязку с помощью оператора сужения аппроксимируем невязку для мелкой сетки через более грубую сетку. Затем решаем задачу на более грубой сетке рекурсивно при нулевом начальном приближении. При этом вычисляется некоторая поправка, которую нужно интерполировать на более мелкую сетку. Вычитаем поправку, вычисленную с помощью более грубого решения, из приближенного решения на мелкой сетке. Снова уточняем решение.

Если развернуть рекурсию, получится такая схема: k-я СЛАУ, (k-1)-я, ..., 2я, 1я, 2я, ...,(k-1)-я, k-я. Это так называемый V-цикл.

Цитата из статьи Ю.М. Лаевского "О некоторых итогах развития современной вычислительной математики" (2002 год): "Методы в пространствах Крылова обладают значительной универсальность. Но если речь идет о дискретном аналоге уравнения в частных производных, для которого имеется MG-техника (гладкое решение, регулярные сетки), то ее использование много эффективнее"

Как вставить формулу в блог

2011-11-13T07:06:00.001-08:00

Оказывается, не так и сложно. Вот по этой ссылке есть хорошая статья на эту тему.

Вкратце. Существуют сервера, умеющие преобразовывать LaTeX-овские формулы в обычные. В блог вставляется картинка с адресом
http://chart.apis.google.com/chart?cht=tx&chl=e=\sum_{n=0}^\infty\frac{1}{n!}
(ну разумеется, у Гугла есть сервис, они все умеют, скоро и ботинки нам будут чинить)

Сама формула (разложение числа e в бесконечную сумму факториалов) идет после префикса
"http://chart.apis.google.com/chart?cht=tx&chl=". Подобный сервис есть у форума dxdy,
префикс выглядит следующим образом "http://dxdt.ru/f?"

Условная вероятность

2011-10-17T01:15:00.000-07:00

Никогда вот этого не понимал - как это вероятность события меняется, если у нас появляется какая-то предварительная информация о событии. Вот, вчера некто в черном пальто мне приоткрыл глаза на это дело.

Итак. Пусть в семье есть два ребенка, один из них девочка(вот она - доп информация). Нужно определить - с какой вероятностью в этой семье две девочки. Вероятность появления девочки и мальчика считаем 50%.

Какие возможны варианты? Девочка-девочка, мальчик-девочка, мальчик-мальчик. Но поскольку есть информация, что есть одна девочка, последняя комбинация отпадает и вероятность повышается. Получается - 50%.

Что-то начинает проясняться.

За чистый комп #1

2011-10-03T00:13:00.000-07:00

Все с этим сталкивались: поработал на компе полгодика - и все начинает тормозить, виснуть, появляется "любимый" Recycler. Переустанавливать ОС часто как-то напряжно. Поэтому неплохо научиться руками чистить комп.

Тема первая - о распухании FireFox-а. Ссылки с Мазилкиного форума: link1, link2

цветовая карта jet в gnuplot

2011-09-16T05:49:00.000-07:00

Цветовая карта jet чаще всего используется на графиках в Matlab. там ее задать легко:
colormap jet (да, вроде, и по умолчанию стоит она же).

В gnuplot все не так просто. Карту приходится определять руками:
set palette defined (0 0.0 0.0 0.5, \
1 0.0 0.0 1.0, \
2 0.0 0.5 1.0, \
3 0.0 1.0 1.0, \
4 0.5 1.0 0.5, \
5 1.0 1.0 0.0, \
6 1.0 0.5 0.0, \
7 1.0 0.0 0.0, \
8 0.5 0.0 0.0 )

Далекий-далекий сервер

2011-09-14T08:39:00.000-07:00

В последнее время удаленная работа на сервере стhttp://www.blogger.com/img/blank.gifала для меня актуальной. Набор инструментов стандартный - putty и Far с плагином WinSCP.

Попробовал pscp для закидывания файла на сервер. Не получилось. Нашел несколько ссылок по теме, сохраняю их тут:
Работаем с Putty из Windows (из блога некой Лариски)
Using PSCP to transfer files securely (глава из объемистого руководства)
Скопировать файл на сервер (тут и ftp, и scp - рецепты для веб-мастера)

И еще раз - мы чемпионы мира по пляжному футболу и в финале порвали Бразилию 12-8!

gnuplot: сохранение графиков в файл

2011-08-31T06:33:00.001-07:00

Есть у нас, допустим, скрипт plot_profile.gnu, который что-то там рисует. Мы хотим сохранить это в графический файл. Делать нужно так:
#1.устанавливаем тип вывода png.
# Из распространенных форматов есть еще jpeg и gif
gnuplot> set term png
#2.задаем имя файла
gnuplot> set output "graph4.png"
#3.скрипт выдаст график в файл, а не в окно на экране
gnuplot> load 'plot_profile.gnu'
#4. скидываем output
gnuplot> unset output
#5. скидываем терминал на дефолт - рисование на экран
gnuplot> set term win

Примечания. Строка 4 очень важна - если ее не написать, графический файл не будет закрыт и читать его будет невозможно. Если перед строкой 1 мы уже запускали наш скрипт (посмотрели на график и решили сохранить), то вместо строки 3 можно написать просто replot. Но тут проявляются некие глюки. Например, если в скрипте мы отключали легенду, то при replot легенда все равно будет на графике в файле. Надо будет специально отключать ее перед replot-ом (set key off, потом включать set key default). Так что лучше делать так, как написано выше.

Word - копирование форматирования

2011-08-11T03:11:00.000-07:00

Придумал тут простой способ изображения матриц http://www.blogger.com/img/blank.gifи http://www.blogger.com/img/blank.gifрасчетных сеток - использовать таблицы Word. Если мы хотим показать, что первый кусок сетки обрабатывается процессом 1, а второй - процессом 2, то естественно ячейки этих кусков раскрасить по-разному. Например, ячейки первого куска залить черным, а ячейки второго - заштриховать. И тут встает вопрос - как скопировать форматирование одной ячейки в другую?

Пока придумал такую штуку. Делаем форматирование одной ячейки (Границы и заливка..), затем выделяем по очереди другие и нажимаем F4. Это гениальное решение было навеяно форумом. А вот просто выделить произвольную ячейку и скопипастить из нее форматирование - нельзя. Жаль.

Кстати - копировать формат текста из абзаца в абзац тоже можно (см. по ссылке внизу).

Рисование блочных матриц

2011-06-28T04:49:00.000-07:00

Как красиво нарисовать матрицу для статьи?http://www.blogger.com/img/blank.gif

Вот в этом блоге человек неплохо написал, как он это делает в Latex.

gnuplot: номер блока данных

2011-06-28T04:36:00.000-07:00

Совершилось. После долгого рытья хелпа, интернета и земли я понял, как узнать номер текущего блока данных в data-файле.

Вкратце о рисовании данных из файла в gnuplot. Данные должны быть записаны в колонки, числа в строке отделяются пробелами либо табуляциями. Колонки нумеруются с 1.

Команда plot 'test.dat' using 1:5 нарисует график, используя числа из первого столбца как значения по x, а числа из пятого - как значения по y.

Данные можно разделять на блоки двумя пустыми строками. Каждый блок отображается отдельной кривой. Команда из предыдущего абзаца пройдется по всем блокам и нарисует столько кривых, сколько блоков в файле.

По умолчанию все линии будут отрисовываться одним цветом. А если я хочу, чтоб цвет менялся в зависимости от номера блока? Как узнать номер блока?

Так вот, оказывается, для каждой точки (т.е. строки в файле) номер ее блока записан в псевдоколонке с номером -2 (!!!!). Рисование линий разными цветами выполняется следующей командой gnuplot:
plot 'data' using 1:2:(column(-2)) with lines lc variable

Улов в интернете

2011-04-19T09:17:00.000-07:00

Мой блог превращается в коллекцию ссылок... Надо будет рассортировать их, перекинуть в раздел Links и потереть все эти посты.

Нашел очередной сайт с инфой для студентов - www.twirpx.com. Но здесь выкладывают не рефераты, а разные методички. Страница о вычислительной математике полна всяких вкусностей, всякие доки по численным методам в Матлабе, Питоне, Маткаде и просто по численным методам(даже на украинском есть).

Еще раскопал бложик некоего аспиранта-инженера, который пишет в том числе и о математике (МКЭ, тензоры напряжения и прочее). Опыт показывает, что в таких местах можно встретить доходчивые описания самых сложных вещей. Конкретно из этого блога узнал про SketchUP - программу от Гугл, в которой легко делать 3D моделирование. Можно дома проектировать домики, виллы и торговые центры.

Кстати, интересно, почему Blogspot мои теги на английском транслитерирует санскритом?) Погнулись чакры у движка или это такой забавный конфликт с PuntoSwitchеr-ом.

Artspb - о математике

2011-04-15T05:46:00.000-07:00

Нашел интересную подборку текстов по функану, обработке сигналов, матрицам и линейной алгебре - http://artspb.com/books/

Типы изданий или О пользе чтения рефератов.

2011-03-08T23:50:00.000-08:00

Все мы писали курсовые. Писали, защищали и выкидывали. Но нашлись люди, которые поняли простую вещь - зачем такому добру пропадать? Студенты старались, перелопатили кучу книжек, структурировали усвоенную информацию и изложили все понятным языком. Каждый (хороший) реферат - это идеальный мануал для всякого, кому нужно "въехать" в новую тему.

Сам я из рефератов узнал многое о линейной алгебре, математической экономике и дрррр. 30-40 страниц насыщенной информации в доступной для нуба форме - это песня. Так что рекомендую - рефераты на revolution.allbest.ru и 5ballov.ru (первый удобнее).

Ну вот. Понадобилось мне узнать, что такое "тип издания". Брошюра-книга, что ли? Нееет, курсовая работа "ХАРАКТЕРИСТИКА ТИПОВ И ВИДОВ ИЗДАНИЙ" г-жи Сахтапергеновой из Астрахани на 37 страницах раскрывает это понятие во всей глубине.

Типы изданий бывают такие: Официальное издание; Научное издание; Научно-популярное издание; Производственное издание; Учебное издание; Общественно-политическое издание;
Справочное издание; Информационное издание; Издание для досуга; Рекламное издание;
Литературно-художественное издание.

Подробнее - http://revolution.allbest.ru/audit/00059698_0.html.

StackOverflow и MathOverflow

2011-03-05T10:10:00.000-08:00

Забавно два сайта с похожими названиями: stackoverflow.com и mathoverflow.net - сайты для программистов и математиков соответственно.

Темы иногда пересекаются - вот, например, обсуждение на StackOverflow программ для решения задачи собственных значений.

Полиномиальная арифметика

2011-02-14T03:51:00.000-08:00

Бывает и такая! Подробнее см. Криса Касперски "Полиномиальная арифметика и поля Галуа..."

INI-файл GnuPlot-а

2011-02-11T07:56:00.000-08:00

GnuPlot - консольная программа и размер шрифта команд мне показался слишком мелким. Поменять его нет проблем - правой клавишей по рабочей области окна, выбираем Font... и ставим, какой хотим. Но так приходится делать каждый раз, а хочется сохранить эту настройку. Судя по хелпу, есть какой-то gnuplot.ini, но в каталоге программы его не оказалось... И не только я не смог его найти - читал отзывы в интернете.

На самом деле файл есть, просто называется он wgnuplot.ini и создается он при первом запуске в каталоге C:\Documents and Settings\[имя пользователя]\Application Datа. Оказывается, править его руками не надо - поставили фонт, потом опять в контекстном меню выбираем Update wgnuplot.ini - и настройка сохранится в конфиге. Вот такая система)

Математическая экономика - ссылки

2011-01-26T05:02:00.000-08:00

РУДН-овская методичка по математическим моделям в экономике (есть динамическая модель Леонтьева, там нужно вычислять с.з.)

Программа какого-то курса - набор ключевых слов на будущее.

Электронный учебник "Экономико-математические методы" - линейка, балансовые модели, лин. и нелин. программирование, игры, графы.

gnuplot: сохранение картинок

2011-01-22T08:46:00.000-08:00

Допустим, мы хотим сохранить график синуса в файл sinus.jpg.
Делаем так:
# устанавливаем тип вывода jpeg
set terminal jpeg
# перенаправляем вывод в файл sinus.jpg
set output 'sinus.jpg'
# рисуем
plot sin(x)
# теперь надо восстановить настройки:
set output #теперь вывод будет идти в STDOUT
set terminal win # график будет рисоваться в окошке

Напоминаю, что состояние любой настройки можно посмотреть командой show, например, show terminal, show output и т.д.

IEEE traps

2011-01-21T08:58:00.000-08:00

Эти самые ловушки - это просто исключения, возникающие при операциях с числами с плавающей точкой (переполнение и т.д.). Их можно включить, можно отключить.
Несколько ссылок по этим исключениям:
Исключительные ситуации в операциях с плавающей точкой (IBM AIX);
IEEE 754 floating-point test software (IEEE-754 - стандарт, описывающий флоат-поинт арифметику; автор указывает на то, что компы не так надежны, как многие думают и дает ссылки на спецсофт, который тестит арифметику)

Архитектура CPU

2010-12-27T04:18:00.000-08:00

Нашел парочку объемистых текстов по архитектуре процессоров: на iXBT и на CyberGuru. Букв очень много, все расписано очень подробно.

И снова о GNU Plot

2010-12-20T09:36:00.000-08:00

В дополнение к "Not so frequently asked questions about GNU Plot" (он же Kawana's page) нашел интересный файлик с кучей разных фишек. Вот это запомнилось оттуда:
plot 'junk.dat' [0.5:10][300:480],
т.е. можно указывать промежутки по х и у сразу после имени файла с данными. Вообще, настроек в GNUPlot столько, что впору считать его отдельной ОС со своим bash-ем).

Даже IBM разместила на своем сайте руководство Visualize your data with GNUPlot!

Гугл-сайт какого-то АнтиАламаса: вот.

GNUPlot - скрипты и несколько графиков в файле

2010-12-13T08:48:00.001-08:00

ГНУ_Плот оказался не так и убог, как я раньше про него думал. Видимо, в ближайшее время буду его использовать.

1. Скрипты. Последовательность команд, которые должен выполнить GNUPlot записываем в файл (например) graph.p, а затем вызываем его командой load "graph.p".
2. Удобно записывать несколько сеточных функций, дискретизованных на одной сетке:
в dat-файле записываем в первой колонке сетку, потом колонки со значениями ординат -
# X Y1 Y2 Y3
0 2.3 -0.5 1.6
1 2.5 -0.3 1.9
......
потом рисуем это с помощью директивы using - см Not so Frequaently Asked Questions on GNUPlot.

Можно записать несколько таких блоков в один файл, разделенных двумя пустыми строками (см. там же).

Плюсы и минусы в Excel

2010-11-30T09:47:00.000-08:00

Если попробовать в ячейку Excel - вской таблицы вставить знак '+' или '-', программа подумает, что это начало формулы и будет требовать математическое выражение. Чтоб просто вставить этот самый плюс или минус, надо просто поставить перед ним одинарную кавычку ' - это знак комментария в Excel. Сама кавычка отображаться не будет.

Ремонт обуви своими кривыми руками

2010-11-03T06:07:00.001-07:00

Поставить набойку - 300 руб. Жаба уже вцепилась лапками вам в горло? Тогда читаем здесь:
пост в форуме, пост в другом форуме, спецсайт про ремонт обуви. А когда уже понятно, что как делать - идем на сайт фирмы, торгующей обувными запчастями.

PS Не в жабе дело, просто хочется самому сделать...

МКЭ и генерация сеток.

2010-11-02T09:33:00.000-07:00

Вдруг понадобится - на форуме мехмата кто-то сжато, но подробно (о как я!) рассказал, какой софт нужен для разных этапов реализации метода (генераторы сеток, решатели СЛАУ и т.д.) плюс что читать.

А вот тут кто-то попытался объять необьятное - изложить все аспекты проблемы генерации сеток.

Microsoft Equation Hotkeys

2010-11-01T06:50:00.000-07:00

Что, фанаты TeX-а уже готовятся запустить в меня помидорами? Ну что, поделаешь, приходится иногда формулы в Ворде набирать) Нашел список горячих клавишей для MS Equation, он оказался неожиданно большим. Думаю, скорость набора должна вырасти в разы.
Итак - Microsoft Equation Hotkeys.

Искусство отбрасывания

2010-10-31T08:57:00.000-07:00

Это очень важно для математика - уметь выбрасывать члены из сложного уравнения и убедительно объяснять, почему это можно было сделать.

Вот, на днях показали фокус. Пусть есть две функции a(t) и b(t) и известно, что
a(t)+b(t)=1 при любом t. При этом b(t) может меняться от 0 до 0.01, а a(t) от 0.99 до 1.

Так вот. Функцию a(t) можно считать константой (!!), так как она меняется на 1 процент всего, а b(t) - нельзя, она меняется на 100 процентов. А вот если у нас есть производная a'(t), то тут нельзя просто ноль написать (хоть и можно считать a(t) константой), нужно заменить на -b'(t).

Математическая экономика

2010-10-27T03:58:00.001-07:00

Зачем нужна линейная алгебра экономистам? Например, чтоб изучать модель Леонтьева. Вот статья про нее в заброшенном (к сожалению) дневнике Интересная наука математика.

Есть еще сайт sdb.su (онлайновая библиотека) с курсами логистики и теории оптимального управления экономическими системами. Может, и там чего путное найдется.

До кучи - сайт с инфой по математике младших курсов.
Есть что-то по тензорам.

Сайтик про матрицы

2010-10-14T09:34:00.000-07:00

Собственно - вот. LU-разложение, обращение матриц и т.д. Кроме теории даны указания, как писать рекурсивные программы, которые все это вычисляют.

TeX: верхние индексы и жирные формулы

2010-10-13T06:52:00.000-07:00

Если нам надо в ТеХе написать про столько-то метров квадратных, нам нужна буква "м" с верхним индексом 2 (м^2). Крышка (^) в тексте не сработает, а делать inline формулу (обрамленную долларами) ради такой малости - глупо. Поэтому пишем так:
м \textsuperscript{2}

А теперь о жирных формулах. Иногда нужно выделить жирным какую-то переменную (векторные величины обычно пишут именно так). \textbf в mathmode не работает. Выход есть:
$A\boldsymbol{x}=b$

CFD links

2010-10-04T00:12:00.000-07:00

* Чья-то диссертация в хорошо структурированном html-виде. Посвящена методу конечных объемов для уравнений гидродинамики. Что есть: дискретизация на сетке, интерполяция, обзор итерационных методов решения СЛАУ, турбулентные уравнения и многое другое. Мужик потрудился на славу, малиновые штаны и ку два раза однозначно.

* В том же духе оформлен мануал по программе ISNaS. Примерно то же самое: метод конечных объемов, дискретизация pressure, transport, continuity и momentum уравнений, турбулентность, решатели СЛАУ.

* www.cfd-online.com Wiki по вычислительной гидродинамике. Охватывает всю гидродинамику с заходом в смежные области, но много недописанных статей (как и в Википедии, собственно).

* Фильмы о турбулентности из MIT. Сделаны аж в 60х годах прошлого века неким Эшером Шапиро. Трогательные упоминания о том, что фильмы цветные, большинство со звуком, хотя есть и немые.

Научные статьи в Интернете

2010-10-01T04:53:00.000-07:00

Полянин и Журов (написавшие несколько справочников по методам решения ОДУ и УРЧП) очень подробно рассказали о том, где бедному интеллигенту бесплатно накачать электронных публикаций для чтения перед сном - http://eqworld.ipmnet.ru/ru/info/sci-edu/PolyaninZhurov2007.htm. Полезных ссылок - очень много. Правда, CiteSeer, почему-то не упомянули.

Банковский скоринг

2010-09-19T09:27:00.001-07:00

В пятницу был на семинаре по бизнес-аналитике, который устраивает кафедра ММП. Там рассказывают, какие математические задачи решают в разных компаниях и банках.

На этом семинаре н.с. из ВЦ докладывался о построении скоринговых карт. Эта карта по сути является алгоритмом, который по данным о потенциальном заемщике определяет - давать ему кредит или нет.

Создание такой карты - нетривиальная математическая задача. Там и оптимизация, и кластеризация данных, и подбор параметров (настройка) модели.

Запомнилась классификация параметров модели: линейные, ординальные и номинальные. Ординальные - это те, которые можно как-то сравнить (напр., образование - высшее > среднего), линейные - обладающие свойством аддитивности (числовые параметры, доход клиента, скажем), а номинальные - просто имеющие некие значения (место рождения, пол и т.д.).

Время подачи заявки на кредит - важный параметр (линейный, кстати). Считается, что добропорядочный клерк не пойдет брать кредит в 12 часов дня в понедельник. В это время только мошенники ходят.

А, вот, про мошенников. На каждого клиента (кому дали кредит) составляют кредитную историю. Это цепочка ячеек-месяцев, в каждой написано - заплатил нужный процент или нет. Если сразу не стал платить и не платил первые три месяца от даты займа - это мошенник(fraud). Если вначале платил, а потом вдруг образовалось три месяца непроплаты - это банкрот(default). Предсказывать мошенничество (когда человек и не собирался возвращать) якобы научились (?!), а вот с дефолтами сложнее, для этого и нужны карты. Кстати, срок действия скоринговой карты в России всего год!

Подробнее - на wiki сайте www.machinelearning.ru

Parallel Books

2010-08-13T06:52:00.000-07:00

Библиотека суперкомпьютерного центра (Иркутск) -хорошая подборка в pdf, без всяких регистраций и прочих выкрутасов.

Practical MPI programming - IBM Redbook.

Хо-хо, я теперь знаю, что такое рэдбук)!

Sun ODF plugin for Microsoft Office

2010-07-30T00:43:00.000-07:00

Open Office шагает по стране, теперь шаблоны некоторых документов в интернете размещаются в формате .odt. Иногда с дубликатами в .pdf или .doc. А иногда и без них.

Что делать рядовому юзверю, который привык к своему MS Office и ни про какой OO знать не хочет? Поставить плагин фирмы Sun. Открывает и .odf и .odt.

Беда только в том, что фирму Sun купил Oracle. В этой конторе работают прирожденные барыги - они сделали бесплатный сановский плагин коммерческим и требуют за последнюю версию продукта 90 баксов.

Ну ничего, в сети еще есть бесплатная ПРЕДпоследняя версия. Качаем отсюда: http://narod.ru/disk/22749935000/odp-3.1-bin-windows-en-US.rar.html

Компиляция gcc программ с OpenMP

2010-07-24T07:38:00.001-07:00

Нужно прилинковать библиотеку GOMP(ключ -lgomp при линковке). При компиляции, по идее, нужен ключ gcc -openmp (или -fopenmp), но у меня проект и без них откомпилировался и собрался.

Перенаправление ввода-вывода

2010-07-24T06:56:00.000-07:00

Три потока, три пути, выбирай куда идти... Это я про stdin, stdout, stderr.

Допустим, у нас есть проект, который мы собираем из командной строки командой gmake. Генерируется многостраничная выдача и гораздо удобнее читать ее из файла, а не в окне терминала. Пишем gmake > файл и... в файле оказывается лишь несколько строчек. Засада.

А все потому, что при компиляции/сборке генерируются два типа выражений - просто output и ошибки. Первые идут в stdout, вторые - в stderr. Поскольку оба потока по умолчанию связаны с экраном, юзер их не всегда и различает. А когда начинаем перенаправлять - тут отличия и всплывают. Значок > перенаправляет только stdout. А вот комбинация >& перенаправит в файл и stdout, и stderr.

Узелок на память - список операторов перенаправления:
операция > файл - перенаправляет все сообщения stdout в файл;
операция >& файл - перенаправляет все сообщения stdout и stderr в файл;
операция < файл - перенаправление stdin, операция возьмет на вход содержимое файла;
операция >> файл - сообщения из stdout будут дописываться в конец файла (append).

Все это работает и в Windows и в Unix.

Простая программа на Python

2010-07-22T03:39:00.001-07:00

# -*- coding: cp1251 -*-
w = 10
h = 10

fh = open('simple.txt', 'w')

for i in range(h):
s = ''
for j in range(w-1):
elem = 'a_{' + str(i) + ',' + str(j) + '}'
s = s + elem + ' '
elem = 'a_{' + str(i) + ',' + str(w) + '}'
s = s + elem + ' \n'
# простой вывод на экран - print s
fh.write(s)

fh.close()

Комменты. # - комментарии. Строчка с coding - на всякий случай, чтоб не ругался IDLE. Блоки не ограничиваются ни begin/end, ни {} - внутри блока нужно сделать отступ либо Tab, либо 4 пробела. Регулярные выражения реализованы не так как в Perl, здесь используются функции.

Latex - матрицы из пакета amsmath

2010-07-21T04:41:00.000-07:00

Окружения tabular и array не слишком удобны для набора матриц, особенно если порядок большой - нужно указывать выравнивание для каждого столбца.

Если подключен amsmath (\usepackage{amsmath,amssymb}), можно использовать окружения pmatrix, bmatrix, matrix и др. Отличаются они лишь формой скобок.

Одно маленькое замечание. Если написать просто \begin{pmatrix} \end{pmatrix} - ничего работать не будет - latex выдаст ошибку "Missing $ inserted". А все потому, что все окружения типа XXmatrix работают только в math mode. Поэтому нужно сделать так:
\begin{equation}
\begin{pmatrix}
\end{pmatrix}
\end{equation}

Графопостроитель

2010-07-15T06:24:00.001-07:00

Обнаружил весьма продвинутую программу для рисования графиков и анализа данных - SciDAVis.
Умеет строить всякие графики, экспортировать их в некоторые векторные и растровые форматы (выбор, правда, совсем небольшой). Есть функции для расчета корреляции, автокорреляции, свертки и деконволюции. И даже возможность взятия прямого и обратного быстрого преобразования Фурье (БПФ, оно же FFT), а также функции для работы со спектрами и сигналами.

Пакет лежит здесь: http://scidavis.sourceforge.net/. Почитать о нем на русском можно в блог-посте.

Немного про Batch

2010-07-15T01:55:00.000-07:00

Не перестаю удивляться синтаксису BAT-файлов.

Вот так не работает
SETLOCAL ENABLEEXTENSIONS
IF ERRORLEVEL 1 (echo Cannot switch on extensions)
ELSE (echo Extensions are switched on)

- не знает cmd.exe команды ELSE.

А надо вот так:
SETLOCAL ENABLEEXTENSIONS
IF ERRORLEVEL 1 (echo Cannot switch on extensions
)ELSE (echo Extensions are switched on)

так как ПРЕДЛОЖЕНИЕ (такой элемент языка) ELSE должно быть на той же строчке, что и команда, следующая за оператором IF.

Теперь про setlocal. Эта директива включает некоторую опцию только для данного bat-файла.
Далее цитата из хелпа:
"Команда SETLOCAL принимает необязательные аргументы: ENABLEEXTENSIONS или
DISABLEEXTENSIONS. Это позволяет включить или отключить расширенную обработку
команд до выполнения команды. Аргумент ENABLEDELAYEDEXPANSION / DISABLEDELAYEDEXPANSION включает или отключает отложенное расширение переменной среды."

Пригодиться это все может, если нужно распечатывать значения счетчика цикла во время итераций (даже это в BAT-никах без удара в бубен не сделаешь).
отложенное расширение переменной среды.

Установка и использование OpenMPI

2010-06-30T00:38:00.000-07:00

Для быстрой отладки небольших MPI программ можно прямо на домашнюю Windows-машину поставить реализацию MPI. Например, OpenMPI.

В принципе, это не сложно:
1. Берем OpenMPI с http://www.open-mpi.org/
2. Для компиляции потребуется CMake - качается с cmake.org. Заморачиваться со сборками не стоит, сразу берем версию с GUI.
3.Разбираемся с CMake. Все, что мне пришлось сделать - нажать на Configure и сказать, какая версия Visual Studio у меня стоит, CMake сама ее нашла и прописала себе все пути. Также нужно указать, где лежат сорцы - это [путь к папке, куда скачали архив с openmpi]/openmpi-1.4.2 (кстати, вот этот момент не очень четко описан в документации).
4. Дальше компиляция - надо получить Visual Studio solution, в котором в районе 10 проектов. Занимает это в районе получаса (ну, чай попить точно успеешь).
5. Получили solution, открываем его в VS, делаем build. В Debug (я дебаг-версию делал)
создается куча файлов.

Все, OpenMPI готов к употреблению.

Что теперь, как на создавать MPI-приложения? Понятное дело, нужно инклюдить mpi.h. Он есть в поставке OpenMPI, нужно только переложить его туда, где Студия его увидит.
Еще я прикомпилил libmpid.dll (d в конце - от debug, сделал бы release - было б просто
libmpi.dll) и libmpi_cxxd.dll (возможна, последняя и не нужна или нужна в особых случаях - вроде, символы из нее не грузятся). Делается это путем включения в проект соответствующих экспортных lib.

Все, собрали свой проект - например, test.

Дальше можно сделать так - положить готовый test.exe в отдельную папку. Там же должны находиться: mpirun.exe, libmpid.dll, libopen_pald.dll, libopen_rted.dll (я еще соответствующие lib положил, но, видимо, и без них можно). Запускать так: mpirun test.exe.

Пока не решил проблему отсутствия хелпа. Например, если написать просто test, то mpirun его не найдет и напишет:

Sorry! You were supposed to get help about:
orterun:exe-not-found
But I couldn't open the help file:
[путь]\openmpi-1.4.2\installed\share\openmpi\help-
orterun.txt: No such file or directory. Sorry!

Вот такой он вежливый. А хелп куда дел?

INUIT - читать

2010-06-27T10:22:00.000-07:00

Весьма продвинутый курс по ЧМ в матфизе - Лобанов, Петров Численные методы решения уравнений в частных производных.

Шпаргалка по Makefile

2010-06-22T07:04:00.000-07:00

Трудное это дело - писать makefile-ы) Своеобразная у них логика.

В очередном блоге нашел Шпаргалку по Makefile. Болей-менее исчерпывающая информация, но примеры можно было написать покомпактнее - не до конца еще автор прочухал всю глубину языка makefile-ов.

MPICH и один блог

2010-06-21T07:47:00.000-07:00

Нашел тут интересный блог некоего Сухинова из ИММ - iproc.ru. Посвящен он обработке изображений, но там много статей и на другие темы - параллельное программирование, гидродинамика.

Особенно мне близки:
MPICH и Windows
Измерение интервалов времени в Windows
История гидродинамики.

Data breakpoints и debug modes

2010-06-16T09:38:00.000-07:00

Data breakpoint - это когда прерывание происходит при изменении данных по определенному адресу. В Visual Studio: Debug->New Breakpoint->Set data breakpoint.

Может оказаться, что эта опция отключена. Работает она только в native debug mode (в mixed и managed режимах - не работает). Режимы отладки переключаются в свойствах проекта, ветка Debugging (сразу под General).

У меня даже после перехода в нативный режим пункт Set data breakpoint не включился. Пришлось сделать так: поставить бряк в самом начале main. Непонятно почему, но полсе этой остановки появилась возможность ставить data breakpoint.

(to be continued. maybe.)

MPI

2010-06-16T09:37:00.001-07:00

Стандарт MPI - здесь.

Еще один учебник - MPI для начинающих

Аккуратно оформленный список MPI функций - на сайте DeinoMPI ("The Great and Terrible implementation of MPI-2").

Production quality code

2010-06-03T07:04:00.001-07:00

Переведем это как "код, имеющий товарный вид".

Как определить, что программа готова к передаче заказчикам? В интернете нашел следующий список требований:

Design

* Design documents are readily available and organized for easy access
* All functionality is specified to an appropriate amount of detail
* Presentation, Business Logic, and Data have been abstracted (ie. Three tier architecture)
* Code is well-documented such that it explains all functionality and facilitates maintenance
* An effective test strategy/plan exists

Implementation

* The application does what it was intended to do
* Modules pass unit tests
* Log messages provide accurate portrayal of runtime and facilitate debugging
* Errors have been handled effectively
* Configuration variables have been abstracted into a sane configuration scheme
* Code meets the benchmark criteria
* Resource utilization is sane
* Test plan has been executed and application has been accepted

Deployment

* Code/documentation has undergone peer review
* Interagency coordination (ie. "one-hand knows what the other is doing")
* A rollback plan exists
* Deployment recipe exists

А бывалые прогеры говорят проще:
When the amount of flak the project manager is getting over late delivery exceeds the amount of flak he expects over the bugs remaining in the software, then the software is ready for deployment.
(Когда втык, получаемый менеджером проекта за невыполнение работы в срок, становится сильнее втыка за невыловленные баги - программа готова к внедрению)

CUDAxтаем дальше: линал и графы

2010-05-26T01:24:00.000-07:00

Обнаружил мат.библиотеку на CUDA для решения СЛАУ с разреженными матрицами. Еще она умеет что-то с графами делать. Пока фукнциональность небогатая (например, предобуславливатель только один - обратная диагональ), но разработчики обещают добавлять.

Называется библиотека CUSP, лежит здесь.

Visual Studio: подавление warning-ов

2010-05-26T01:18:00.000-07:00

Прога выдает штук сто варнингов об unreferenced variable. Надоело.

Есть два пути отключения варнингов.

1. В настройках проекта. Configuration Properties -> C\C++ -> Disable Specific Warnings.
Перечисляем номера варнингов (только не С4101 надо писать, а 4101) через точку с запятой.
Отключает эти варнинги во всей проге.

2. Пусть надо отключить варнинги в некотором участке кода. Пишем:
#pragma warning(disable: 4101, 4996)
<кусок кода>
#pragma warning(default: 4101, 4996)
Вторая прагма восстанавливает выдачу варнингов.

batch: переименование файлов по маске.

2010-05-24T09:55:00.000-07:00

Некоторые особенности программирования batch-файлов способны запутать даже мастеров скриптования.

Например. У нас есть директория с файлами вида a-001.zdt, a-002.zdt и т.д. Мы хотим их переименовать в a-wp001.zdt, a-wp002.zdt, ...

Это можно сделать следующим bat-ником:

for %%I in ("*.zdt") do (
for /f "delims=-. tokens=1,2,3" %%A in ('echo %%I') do (
ren %%I %%A-wp%%B.%%C )
)

Разберемся. Во внешнем цикле в переменную %%I по очереди помещаются имена файлов с расширением zdt. Внутренний цикл парсит имена - разбивает на куски. Ключ /f включает некоторые спецвозможности (см. help for). "delims=-." означает, что символы "-", "."мы считаем разделителями. "tokens=1,2,3" означает, что делим имя файла на 3 части по разделителям.

Переменная %%A - это итератор внутреннего цикла, как %%I - итератор внешнего. Но здесь %%A бежит не по списку файлов, а по строке, которую выводит команда echo %%I (которая выводит содержимое %%I, т.е. имя очередного файла). Одинарные кавычки и говорят циклу - итерируем по результату выполнения команды. Вообще, важно ставить нужные кавычки. Если поставить вокруг echo двойные кавычки - будет ошибка. В двойных надо писать списко файлов.

Теперь - внимание. Имя файла разбивается на три части. Первая помещается в итератор %%A. Вторая и третья - в ЛЮБЫЕ переменные, которые встрется внутри цикла. Здесь это %%B и %%С, но вовсе не обязательно брать подряд идущие буквы (A,B,С). Можно другие. Лихо, да? Batch, оказывается, хитроумнее Perl-a.

Да, вот еще. Переменные-итераторы могут иметь только однобуквенные названия.

ПоCUDAхтаем

2010-05-23T11:09:00.000-07:00

В лекциях Саада обнаружил ссылку на статьи по CUDA некоего Роба Фарбера. Всего Фарбер написал аж 15 статей, лежат они на весьма уважаемом ресурсе DrDobbs.

Итак, Rob Farber "CUDA, Supercomputing for the Masses".

BLAS и Lapack под Windows

2010-05-21T02:17:00.000-07:00

Вообще-то, принято собирать их самостоятельно, но если есть возможность - почему бы не воспользоваться:
dll, lib и хедэры можно скачать со страницы чеха Свободы.

Теперь есть надежда, что всякие математические пакеты, заточенные под Юникс, свободно соберутся и под Виндой.

UPD.

Линковать лучше статически (blas_win32_mt.dll и lapack_win32_mt.dll). Если брать *_md.dll - возникает ошибка error loading C runtime library. Также Visual Studio потребовала msvcr90.dll (это, собственно, и есть С runtime library). Скачал с сайта www.dll-files.com.

Гражданин Саад и другие

2010-05-20T03:27:00.000-07:00

Юзеф Саад - культовая личность среди тех, кто решает СЛАУ. Фанаты могут увидеть его фото на его страничке (где много всего полезного). Добрый Юзеф выложил в электронном виде конспекты своих лекций (см. раздел Teaching):
> Computational Aspects of Matrix Theory
> Sparse Matrix Computations
> Introduction to Parallel Computing
Последний курс (про паралл выч) прочтен этой весной, на странице есть не только pdf с лекциями (есть лекция по CUDA!), но и куча программок-примеров на OpenMP, CUDA, MPI.

Софт Саада.

Хоумпейджи других авторитетных товарищей:
Dominique Pelletier (Монреаль)
Randall Bramley (автор splib, Indiana)
Martin J. Gander (variable preconditioning, etc.)
Volker Mehrmann (Берлин)
Nicholas J. Higham
(Manchester) - почти классик. Делал код для Lapack, NAG, Matlab. Занимается вычислительной линейной алгеброй и теорией устойчивости алгоритмов. Работы по тестовым матрицам.
Михаил Юрьевич Баландин (Новосибирск),
один из авторов методички "Методы решения СЛАУ большой размерности"

Нет балунам!

2010-05-18T02:21:00.000-07:00

Очень, знаете ли, раздражают подсказки в виде облачков из комиксов (balloon tips). Они постоянно вылезают в правом нижнем углу, где всякие значки: "New version of Java machine is available" и прочее.

Чтоб это отключить, надо в разделе реестра HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Explorer\Advanced создать параметр типа DWORD под названием EnableBalloonTips и присвоить ему значение ноль. Потом закрыть редактор реестра, выйти из системы и снова войти.

Математика в интернете

2010-05-13T05:54:00.000-07:00

Вот, уже придумали, как делать онлайн-книжки по математике с ИСПОЛНЯЕМЫМИ алгоритмами. Т.е. можно встраивать программы в книжки, я так понимаю.
Читать здесь: О проекте artspb.com

Там же написано о каком-то Internet Matlab (iMatlab).

Адрес приватной переменной

2010-05-11T07:35:00.000-07:00

Напишем что0-нибудь типа

int lm;

#pragma omp parallel for private(lm)
for(i = 0; i < maxI; i++)
{
MyRead(&lm);
}

здесь функция MyRead читает в lm. Прототип MyRead(int *arg).

Так вот, возникает подозрение, что эта конструкция работать будет некорректно, т.к. адрес приватной переменной определяется неверно.

Т.е. лучше

int lm[N_];

#pragma omp parallel for
for(i = 0; i < maxI; i++)
{
s_ = omp_get_thread_num();
MyRead(lm+s_);
}

где N_ - число процессов

Бинарные файлы в Unix и Windows

2010-04-30T02:13:00.001-07:00

[#####!!!! я убил несколько дней своей жизни на эту ерунду, конвертируя файлики, сгенерированные по Аиксом, для чтения по Виндой. И все из-за недостатка знаний по Си. #####!!!!]

1. Если есть желание читать бинарный file1 и писать в бинарный file2 (c помощью fwread и fwrite), открывайте файлы в режиме binary ("rb", "wb"; иногда пишут "r+b", "w+b"). Тогда не будет проблем с выравниванием.

2. На компьютере IBM четырехбайтное integer-число 150 (HEX 96) запишется в файл как 0x00 00 00 96. Этот порядок байт называется big-endian. На Intel x86 байты будут в обратном порядке: 0x96 00 00 00. Числа double в Windows тоже переворачиваются. Т.е. имеет место little-endian порядок байт.

4. Еще я теперь знаю, что такое сериализация:) "Сериализация (в программировании) — процесс перевода какой-либо структуры данных в последовательность битов. Обратной к операции сериализации является операция десериализации — восстановление начального состояния структуры данных из битовой последовательности." (Википедия)

И все-таки бесплатно

2010-04-21T00:14:00.000-07:00

Есть такая организация - ACM(Association fo Computing Machinery, www.acm.org). Эти самые компьютерные машинисты создали хорошую электронную библиотеку с удобным поиском - portal.acm.org. Но вот незадача - хочешь что-нибудь скачать, они тебе говорят - нужен платный аккаунт.

Я уже было собирался просить о помощи в интернете, но тут случайно обнаружил такую неприметную строчку: doi>ссылка. Пройдя по ссылке, попал на ScienceDirect, где нужная мне статья преспокойненько лежала в виде pdf, совершенно бесплатно.

Что такое doi - не знаю. Зачем просить деньги за скачивание статьи, при этом указывая ссылку на бесплатный ресурс - тоже непонятно. Тренировка сообразительности, наверное.

Скачайте мне статью!

2010-04-13T06:30:00.000-07:00

Случайно нашел комьюнити в ЖЖ, где можно попросить скачать статью с каких-нибудь ресурсов с ограниченным доступом.

Называется PDF.

Размещаешь просьбу, оставляешь емейл. Судя по тому, что посты появляются чуть ли не каждый час, есть добрые люди, которые эти просьбы выполняют.

И еще одно комьюнити - ru_math, посвященное понятно чему и кому. Меня заинтересовало обсуждение "Итерационные методы для комплексных систем".

TeX формулы онлайн

2010-04-05T00:13:00.001-07:00

Про Астронет, наверное, все знают - можно забить формулу в окошко и получить соответствующий gif - http://www.astronet.ru/db/latex2gif/.

Не очень удобно то, что формула возникает где-то внизу страницы, приходится проматывать каждый раз.

Вот аналогичный проект - http://at.org/~cola/tex2img/
Здесь немного удобнее - форма ввода внизу, результат показывается над ней, что ускоряет работу

Wikipedia про TeX

2010-04-02T02:48:00.000-07:00

Иногда лень рыться в Львовском, чтоб найти, как обозначается знак "не принадлежит" в TeX (правильный ответ - \notin). Да и не всегда книжка под рукой.

Список не самых экзотических символов можно посмотреть в Википедии.

А вот Викикнижка о Латексе.

CFD Online

2010-03-16T05:18:00.000-07:00

Нашел проект, посвященный вычислительной гидрдинамике. Называется Computational Fluid Dynamics online. Адрес - www.cfd-online.com.В частности, там есть Wiki, пополняемый "тысячами добровольцев". Ну, положим, методы решения СЛАУ изложены посредственно, но само наличие такого проекта радует.

upd 2.04.2010

Еще одна ссылка с пафосным названием Your one stop resource for fluid dynamics and flow engineering - www.efluids.com
Отличается наличием большого числа картинок и анимаций, можно посмотреть на разные типы потоков, увидеть турбулентность.

grep и Perl

2010-03-02T03:22:00.000-08:00

Пусть у нас в директории есть несколько html файлов со со страшными словами ILU, MILU, ILUT. Я хочу найти строки в этих файлах, куда входит именно ILU (ILUT и MILU не подходят) и вывести их на экран.

С помощью grep это выглядит так
grep -rnw 'ILU' ./*.html
Здесь -r выполняет рекурсивный поиск, -n ставит номера строк, куда входит ILU, а -w говорит, что мы ишщем слово целиком.

[удобно искать по исходникам: $ grep -rnw function_name /home/www/dev/myprogram/]

выдача будет состоять из строк вида
./results_add4.html:163:Solver is CG-Sq with ILU preconditioning

А можно написать скрипт на Perl, который делает то же самое (кроме простановки номеров строк):
#!/usr/bin/perl

#формируем список html-файлов в текущей директории
@FilesList = glob("*.html");

foreach $FileName (@FilesList)
{
open FN, $FileName;
#читаем файла построчно
while( <FN>)
{
#ищем вхождения слова ILU целиком, \b - граница слова
# $_ - очередная считанная строка
print "$FileName:$_\n" if m/\bILU\b/;
}

close FN;
}

Зачем нам линейная алгебра?

2010-03-01T01:15:00.000-08:00

Это любимый вопрос студентов - А зачем нужно такое-то понятие, такая-то теория, такая-то наука? Зачем нужны криволинейные интегралы, синусы, конусы, etc.?

Линейка - первый шаг на высоты абстрактных разделов математики (потом будут функциональный анализ, топология, пространства дробной гладкости, затем больница имени Кащенко).

Между тем, Википедия говорит, что Linear algebra is central to modern mathematics and its applications.

Какой-то умный дядька из Оттавы (хорошо, не из Ванкувера) составил подробное описание приложений ЛА в других науках (криптографии, химии, экономике и т.д.).

Читайте!

Переопределим printf

2010-02-20T09:28:00.000-08:00

Иногда бывает так, что printf ничего не выводит. Видимо, это из-за того, что она пишет в буфер, который по каким-то причинам не вываливает содержимое в stdout. Чтобы принудительно очистить это буфер используется fflush(stdout).

Логично переопределить printf как printf + fflush. Сложность в том, что у printf переменное число аргументов. если написать
#define printf(A) printf(A); fflush(stdout);
а потом задать строку форматирования с несколькими аргументами, компилятор ругнется, что-де слишком много параметров у макроса printf(A).

Решается это так (нашел в интернете)
#define printf(A) printf A; fflush(stdout);
printf(("t%d: RRJ in %d\n",TRED, t1));

Тут важно, что вызывать printf надо с ДВОЙНЫМИ скобками.

ILU предобуславливатели.

2010-02-16T08:05:00.000-08:00

ILU = incomplete LU preconditioner (оказывается, бывают и postconditioner-ы).

Неплохая дока по предобуславливателям этого класса - здесь.

Коротко:

1. incomplete - в смысле, произведение LU приблизительно равно матрице системы A. В отличие от обычного LU разложения, где A = LU.

LU - разложение -- хорошая штука, но если матрица A - разреженная, хранится в соответствующем формате, то хотелось бы, чтоб и произведение LU было бы разреженным. Т.е., мы раскладываем A в LU и начинаем выкидывать в L и U элементы в соответствие с некоторой стратегией. Равенство A = LU становится приближенным. Самый радикальный вариант - оставлять в LU элементы только в тех позициях (i,j), для которых a_ij не равен нулю (получим ILU(0)).

2. Предобусловленная система выглядит так: U^-1 L ^-1 A x= U^-1 L ^-1 b.

3. ILU(s). s - число уровней заполнения (levels of fill). Про ILU(0) см. в п. 1. А что такое уровни заполнения? Опять обратимся к LU-факторизации. Всем позициям, в которых a_ij не равен нулю, приписывается уровень нуль. Они считаются допустимыми. Вообще, допустимыми будут позиции с уровнем не больше s. Если позиция (при LU-факторизации) порождена двумя разрешенными позициями, то ей присваивается следующий уровень.

Прочитал я об этом в начале этой статьи (pdf).

4. MILU - modified ILU. Если в ILU стараются сохранить узор (zero pattern) A, т.е. {если a_ij<>0 => LU_ij = a_ij}, то в MILU это правило для i = j заменяют таким: {rowsum(LU) = rowsum(A)}

Бррр...

Проверка существования файла в Unix shell

2010-02-09T05:17:00.001-08:00

Есть вот такая команда Linux:
test -e filename - проверить, что файл filename существует ;
test -d filename- проверить, что файл filename существует и является директорией
(и куча других опций). На экран ничего не выводит, возвращает 1 или 0 если файл существует или не существует. Поэтому использовать лучше в скриптах. Например, если мы хотим удалить файл, надо сначала проверить его наличие, иначе rm выдаст ошибку, и скрипт дальше не будет исполняться.

Приведу кусочек makefile-a, где a)используется test : б) показан условный оператор shell:

if (test -f /usr/lib/libblas.a);\
then ($(FC) $(FFLAGS) -o driver driver.o splib.a -lblas);\
else ($(FC) $(FFLAGS) -o driver driver.o splib.a blas/localblas.a);\
fi

Здесь мы проверяем - есть ли в каталоге /usr/lib/ библиотека blas. Если да - линкуем с ней, иначе с blas-ом из директории ./blas.

Работа с отладчиком dbx

2010-02-04T05:16:00.000-08:00

Сказал бы мне кто-нибудь неделю назад, что буду дебужить в консоли - не поверил бы... "Мама это небыль, мама это не со мной".

Распишу по шагам, как работать с AIX-вским dbx. Обычный линуксовый gdb имеет свои особенности, dbx как-то поудобнее даже.

Итак - откомпиляли все сорсы (foo.c, stupid.c) с ключом -g. Получили бинарник (stupid).

1. Теперь запускаем dbx, грузим наш бинарник в него:
dbx stupid

Если хотим, чтоб отладчик искал сорсы в директории ./src, пишем:
dbx -I ./src stupid

2. Перед запуском отлаживаемой программы можно поставить брейкпоинты и задать способ трассировки (т.е., когда нужно будет выводить строки выполняемого кода).

поставить брякпоинт в файле foo.c на строке 9:
stop at "foo.c" : 9
[Набирать строчку надо без исправлений, без BackSpace, иначе отладчик говорит об ошибках синтаксиса]

поставить брякпоинт на функции foo:
stop in foo
(брякнется на первом выполняемом выражении).

Теперь трассировка:

Трассировать каждый вызов printf :
```
trace printf
```
Трассировать каждое выполнение строки 22 в hello.c :
```
trace "hello.c":22
```
Трассировать изменение переменной x в процедуре main :
```
trace x in main
```
Трассировать данные по адресу 0x2004000:
```
set $A=0x2004000
trace $A
```

3. Запуск программы на выполнение (отладку) : r
если программе нужны флаги (например, -da), пишем r -da

4. После остановки на брякпоинте:
можно вывести значение одной переменной: print x
или всех переменных, которые видны из данного куска кода (текущей процедуры):
dump.
Кроме того, можно вывести стек вызова процедур: where.

5. Выход из программы - quit

Консольные отладчики gdb и dbx

2010-02-03T07:39:00.000-08:00

Ну, вы знаете : Linux way - это консоль. Все в консоли, и отладка тоже. Очень необычно это для привыкших к Visual Studio, но со временем привыкаешь и начинаешь чувствовать себя хакером а-ля Касперски.

Отладчик gdb есть, похоже, во всех никсах. А в IBM-овской AIX есть еще свой - dbx. Так вот,
судя по хелпу, с их помощью можно выделывать весьма занятные фокусы. Скажем, менять значения переменных на ходу из отладчика, делать всевозможные дампы (например, можно сказать dump - и вам вывалят все переменные контекста), даже можно как-то двигать функции по стеку вызова вниз-вверх.

Чтобы можно было пользоваться этим великолепием, надо компилировать с ключом -g (генерирование отладочной информации).

Мануал по dbx: здесь.

Пути для поиска файлов в Linux

2010-02-03T06:55:00.000-08:00

Как известно, в Винде есть переменная окружения Path, где прописаны директории, в которых система ищет всякие хедэры, библиотеки и т.д. В Linux переменная , где хранятся с путями поиска подгружаемых библиотек, называется LD_LIBRARY_PATH. Изменять ее надо следующим образом (добавим еще одну директорию в список):

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:"new_dir_name"

Также как и PATH, эта переменная скидывается при перезапуске системы :(

Кроме директорий из LD_LIBRARY_PATH, Linux всегда ищет библиотеки .so в /lib и /usr/lib

Makefile: подлянка с пробелом

2010-01-28T05:29:00.000-08:00

Не ставьте пробелов после инициализации переменных в Makefile!

Если мы напишем INCDIR=../include_, где _ = пробел, то выражение
'$(INCDIR)/header1.h' будет восприниматься make-ом как '/header1.h'. И этот хедэр найден, конечно? не будет.

Поэтому правильно будет написать INCDIR=../include<конец строки>

Static в С

2009-12-28T06:35:00.000-08:00

Всегда у меня этот static какие-то затруднения вызывал, а на самом деле все просто.

Если в модуле глобальная переменная объявлена static, то она видна только из этого модуля. То же самое, если static стоит в объявлении функции.

Если в функции локальная переменная объявлена static, то она сохраняет свое значение между вызовами функций. Инициализируется только один раз. Вот пример - скользящее среднее:

double average(double x)
{
static double count = 0;
static double sum = 0;

++count;
sum += x;

return sum/count;
}

int main()
{
cout << "average = " << average(1) << endl;
cout << "average = " << average(2) << endl;
cout << "average = " << average(4) << endl;
}

В функции average переменные count и sum будут инициализированы нулями только при первом вызове функции. Можно объявлять в разных функциях статические переменные с одинаковыми именами - компилятор следит за соответсвием.

Ой, а вот тут нашел на YouTube как дядька под гармошку на площади поет Русское поле экспериментов чуть ли не лучше Летова: http://www.youtube.com/watch?v=Bxhx1tlzn44

OpenMP links

2009-12-21T01:57:00.000-08:00

Использование библиотеки OpenMP на сайте кафедры ИКТ (где она находится и как расшифровывается - непонятно)

32 подводных камня OpenMP при программировании на С++. Очень интересная статья.

HabraHabr: Расшифровка пароля по MD5-хэшу в несколько потоков (интересные комменты)

Intel: Эффективное распределение нагрузки между потоками с помощью OpenMP Там есть ссылки на другие статьи и ресурсы на intel.com

HPC и жись

2009-12-19T09:52:00.000-08:00

Вот строют, строют эти многопроцессорные ЭВМ... И процессоров несколько тысяч, и быстродействие уже петафлопах мерять стали...

А зачем это нужно, товарищи ученые? Геном расшифровывать? Ну расшифровывайте, если интересно. А для честных мелких предпринимателей, занимающихся почетным делом купли-продажи китайского барахла в нашей стране, эта ваша многопроцессорность нужна вообще? Это ж, блин, средний класс, надежда, можно сказать, государства.

Короче, интересно мне стало, где супервычисления используют, окромя НИИ и ВУЗов. Порылся в интернете. В основном - общие фразы, типа, круг задач широк - и банки, и нефтянка, и все-все-все. А конкретики - никакой почти.

Нашел маленькую статью Применение параллельных вычислений для автоматизации бизнес-процессов. Вооо, тут все жизненно - бухгалтерия, бонусы, никакого генома. Но рассмотрено всего две операции, где можно напараллелить - расчет зарплаты и загрузка данных в ИТ-систему.

Ну и вот чуть-чуть - Суперкомпьютеры становятся настольными в издании Промышленные Ведомости. Тут сказано, что используют HPC в САПР. И все пока...

OpenMP & Visual Studio notes

2009-12-18T03:32:00.001-08:00

1. Свойства проекта
Debugging -> Command Arguments - можно прописать аргументы командной строки Вашей проги и дебужить из студии (а не запускать прогу из консоли)

С/С++ -> Language -> OpenMP Support - вкл/выкл поддержку OpenMP. Если включено -
определен символ _OPENMP. Если нет - все прагмы игнорируются.

2. Кусочек кода отсюда

float sum = 10.0f;
MatrixClass myMatrix;
int j = myMatrix.RowStart();
int i;
#pragma omp parallel
{ #pragma omp for firstprivate(j) lastprivate(i) reduction(+: sum)
for(i = 0; i < count; ++i)
{
int doubleI = 2 * i;
for(; j < doubleI; ++j)
sum += myMatrix.GetElement(i, j);
} }

Не знаю, насколько критичен здесь lastprivate, но отсутствие firstprivate и reduction приводит к ошибкам.

Sleep на языке C

2009-12-15T07:38:00.000-08:00

Вот как можно реализовать функцию задержки на n секунд

#include time.h

/* Pauses for a specified number of milliseconds. */
void sleep( clock_t wait )
{
clock_t goal;
goal = wait + clock();
while( goal > clock() );
}

Подбор

2009-12-09T05:00:00.000-08:00

Была такая довольно мирная песенка I was made for loving you baby группы Kiss, которую Scooter переделал в какой-то шум со своим фирменным Eeeee!

Соло из это песенки оказалось весьма примитивным (не сверялся, правда, с инетовскими подборами, но звучит правдоподобно):

E F# G A B B G А F#
I was made for loving you, baby,

E F# G A B B G
You were made for loving me ...

Mixed-language programming

2009-12-09T04:46:00.000-08:00

Мне, это, кажется в ближайшее время не понадобится, но:

вот хорошая статья про создание прог на нескольких языках. Кратко:

программерам численных методов нужно, обычно, взаимодействие C-Fortran. Т.е. из проги, написанной на одном из этих языков, надо вызвать подпрограмму на другом. Как назло, эти языки отличаются в плане обращения с подпрограммами весьма сильно, что необходимо учитывать:

1. Соглашение о вызовах. В Fortran параметры очищаются из стека вызываемой функцией. В С - вызывающей прогой. Плюс аргументы запихиваются в стек в разном порядке: в С - начиная с последнего, в Fortran - с первого.

Неудобно, короче. Но в С есть возможность организовать вызов функции и так и так: с помощью _cdecl - по-сишному, с помощью _stdcall - по-фортрановски.

2.Передача параметров. В Fortran - по ссылке.

3. Передача строк. !!. Строка в С заканчивается \0. А в Fortran - нет, вместо этого в функцию неявно передается длина строки.

4. Массивы в Си нумеруются с 0, в Фортране - с 1. Матрицы (2-мер массивы) в Си хранятся по строкам, в Fortran - по столбцам.

Помянутая статья помогает разобраться с 1-3. С п.4 можно справиться своими силами.

Формат A4

2009-11-09T08:49:00.000-08:00

Формат бумаги А4 в разных единица измерения:
в мм: 210 x 297
в дюймах(inches, in, "):8.26 x 11.69
в точках (points, pts):595.28 x 841.89

Subversion на русском

2009-10-26T01:08:00.000-07:00

Отличный перевод SVN-book на русский находится здесь .

Русскоязычные термины немного путают (если уже прочитал английскую версию документации), поэтому вот краткий пацакско - чатланский словарь:

фиксация, она же публикация - check in (результат команды commit)
правка, она же ревизия - revision
создание рабочей копии - checkout
обновление рабочей копии - update (т.е., если мы подозреваем, что после получения нами рабочей копии в хранилище были опубликованы изменения, можно обновить нашу рабочую копию)
метка - tag, снимок с последней ревизии. Можно сказать, что это помеченная ревизия. В SVN отличия между тэгом и бранчем почти нет.

Sparse Matrix Converters

2009-10-23T07:09:00.000-07:00

Если по-русски - конвертеры между разными форматами хранения разреженных матриц. [По-английски короче, поэтому и заголовок на английском.]

Форматов существует несколько, поэтому проблема конвертации весьма остра.

Итак.

1. Существует набор пакетов на Питоне для учОных и инженеров - SciPy Packages. Один из этих пакетов имеет говорящее название Sparse. Причем он умеет работать аж с семью (!) форматами. Но - эхххх - на Питоне...

2. BeBOP sparse matrix converter. Конвертирует Harwell-Boeing в Matrix Market и наоборот.

3. Система R тоже умеет работать с несколькими sparse matrix - форматами. Help есть здесь.

Torrent

2009-10-19T01:16:00.000-07:00

Путевое описание работы Торрента нашел в совершенно неожиданном месте - на фан-сайте Спартака:)

Вкратце идея такая - сервер при скачивании выдает клиентам файл кусочками. Клиенты качают эти кусочки не только с самого сервера (как на FTP, например), но и друг у друга. Благодаря этому скорость скачивания (теоретически) должна быть большой. Реально - все не так шоколадно.

Линковка программ gfortran

2009-10-16T02:41:00.000-07:00

Если компилируем программу (несколько файлов .f) gfortran-oм, то при сборке стандартным линкером ld можем получить ошибки:
undefined reference "_gfortran_st_write"
и тому подобное.

Как я понял из интернета, причина состоит в том, что gfortran использует какие-то свои библиотеки. Поэтому надо использовать в качестве линкера (лоадера) сам gfortran

Одноразовый PATH

2009-10-13T08:38:00.000-07:00

Нашел интересный bat-файл, который настраивает переменную окружения на один сеанс работы с командной строкой:

SET QTDIR=<QTDIR>
SET MINGWDIR=<MINGWDIR>

SET PATH=%QTDIR%\bin;%MINGWDIR%\bin;%SystemRoot%\System32

cmd.exe

Где взять матрицы?

2009-09-28T07:28:00.000-07:00

Harwell-Boeing collection:
http://math.nist.gov/MatrixMarket/data/Harwell-Boeing/

University of Florida collection
http://www.cise.ufl.edu/research/sparse/matrices/

Страница горячего финского парня Коухиа
http://users.tkk.fi/~kouhia/sparse.html

Немного о PGP

2009-09-22T02:38:00.001-07:00

Есть у меня пара файлов с некоторой ценной информацией... И захотелось мне их зашифровать.. А из всей криптографии / компьютерной безопасности знаю я всего три буквы: P-G-P.

Порылся я в интернете, и оказалось, что существуют аж две бесплатные программы, основанные на этом алгоритме: GNU Privacy Guard и фриварная версия PGP. Статью на эту тему можно почитать здесь. Там же есть и обе программы.

А PGP - это не какое-то там мудреное название алгоритма, а всего лишь Pretty Good Privacy, довольно хорошая защита. Т.е. absolutely good privacy никто и не обещает...

Gparted и ISO Recorder

2009-09-17T02:35:00.000-07:00

Нашел тут две интересные программки.

Gparted - бесплатный аналог Partition Magic. Организация этой штуки довольно оригинальная - сделали Gentoo LiveCD с сильно урезанной функциональностью и оконным менеджером FluxBox, весит около 50 мб. Загружаемся с диска (долго), запускается редактор логических дисков. Дальше все как в Partition Magic. Один только момент - чтоб сделать logic диск, надо сначала сделать extended partition, а потом уже его пилить на логические. Впрочем, на диске много всяких рекомендаций по разбивке харда, можно их тоже почитать

И совсем маленькая программулина (тоже free) - ISO Recorder. Позволяет прожигать iso образы на диски. Добавляет соответствующий пунктик в контекстное меню Windows.

Золотые ключики gcc

2009-09-04T04:55:00.000-07:00

-I - указать директорию, где лежат включаемые хедэры (даже про stdio.h надо ему объяснять!)
-с - сделать объектный модуль (.o) без линковки
-Wall - warnings all (давно хотел узнать, что эта "стена" означает)
-S -генерация ассемблерного кода из нашей программы

пример:
gcc -I path_to_include -c myfile.c

Pathman

2009-09-04T01:46:00.000-07:00

Pathman - это маленькая утилитка, которая позволяет добавлять папки в Path на постоянной основе.

Строчка path = %PATH%; "another_path_name" добавит в path папку another_path_name только на время одного сеанса работы с cmd.

МетаПрограммирование в C++

2009-09-01T09:32:00.000-07:00

Если вам встретился кусок кода типа

template
class R2RProblem
{
 typedef typename T::SomeType S;
public:
 void Foo(S& anS)
 { /* modify anS */ }
};

[такое можно найти, например, в библиотеках Boost и MTL],
читайте следующие статьи Томаса Беккера (не брат ли Бориса:)?)
на сайте Dr. Dobbs
[кстати, очень интересный портал о программировании]:

STL & Generic Programming: C++ Template Metaprogramming

и

STL & Generic Programming - More on C++ Metaprogramming

Поиск в Yandex для специалистов

2009-08-25T02:04:00.000-07:00

Встретил такой заголовок в интернете и сильно удивился. Что-то я не видел людей, которые зарабатывали бы поиском в инете на заказ (а было бы забавно). Если же специалисты - это разработчики поисковых сервисов, то они должны делать их понятными и доступными для всех.

Ну не важно. Статья про поиск в ЖЖ кубка Яндекса по поиску очень интересная и заслуживает внимательного прочтения. Оказывается, существует огромное количество финтов, которые поомгают сделать поиск более эффективным.

DocBook

2009-08-19T10:00:00.000-07:00

DocBook - это такой XML-формат, который "стал стандартом де-факто для разработки технической документации". Т.е. к обычным XML-тегам добавили еще целый набор тегов. После оформления текста (документации, например) по определенным правилам, запускаем XSLT-процессор (xsltproc, например) - и получаем доку.

Вот здесь про это хорошо написано. Еще есть сайты www.docbook.org и www.docbook.ru

[a bit later]
Хм, ссылка 'здесь' оказалась мегаинтересной - на примере создания файлового менеджера для Linux автор показывает, как писать коммерческий софт с использованием Eclipse. DocBook он (и другие технологии) использует по ходу дела. Ссылка на оглавление книжки:
http://www.berdaflex.com/ru/eclipse/books/rcp_filemanager/index.html

Юзаешь dll - сделай import library

2009-08-14T08:04:00.000-07:00

Usage of DLL libraries require the generation of import libraries in order for them to be called from C/C++ programs in Visual Studio. This is actually quite simple:

Use the dumpbin tool provided with Visual Studio to extract the functions exported from the DLL (dumpbin /EXPORTS xxx.dll > xxx.def).
Strip this list, so that it only contains the names for the exported functions; one on each line. Let the first line contain the word EXPORTS.
Function names can be renamed to account to different naming convensions by writing importname=dllname (e.g. sgemv=sgemv_).
Use the lib tool to generate import libraries (lib /def:xxx.def /MACHINE:IX86 /out:xxx.lib).

More details can be found in Microsoft KB131313, and Stdcall and DLL tools of MSVC and MinGW.

[нашел в интернете]

Чуть-чуть о BLAS и Lapack

2009-08-14T03:51:00.001-07:00

Не ищите процедуру умножения матриц (или матрицы на вектор) в Lapack. Это для Лапака слишком простая операция. Вот вычислить разложение Шура или сбалансировать матрицу (с целью уменьшения ее числа обусловленности) - пожалуйста.

Умножение матриц есть в BLAS и называется dgemm. Выполняет эта рутина следующую операцию: alpha * op(A) * op(B) + beta * C. Здесь альфа, бета - это числа; A, B, C - матрицы. Ну а op(X) = X или X', в зависимости от флага.

MD5 и помидоры

2009-08-13T01:43:00.000-07:00

Один знающий человек объяснил, что такое MD5. Это, оказывается, такая технология хэширования - любой последовательности байт однозначно сопоставляет другую последовательность, причем обратное преобразование невозможно.

Использовать MD5 можно, например, так. Мы заводим аккаунт на сервере. При этом на серваке хранится не сам пароль, а его MD5 хэш. При аутентификации мы у себя на компе вводим пароль, хэшируем и посылаем на сервер - там производится сравнение хэшей. Поскольку преобразование MD5 однозначно, сервер пустит только человека с правильным паролем. Кража хэша с сервера ничем не грозит - расшифровать его нельзя.

Видел в сети мнение, что MD5 - это аналог контрольной CRC суммы файла, только в Линуксе. Не совсем так - результат CRC не однозначен (т.е. у разных файлов может оказаться одинаковая CRC).

Да, я еще про помидоры обещал... Так вот - очень вкусное блюдо. Варим макароны, параллельно жарим на подсолнечном масле помидоры. Сливаем воду из макарон, закидываем в них помидоры с подливой и еще немного варим. Выкладываем на тарелку, добавляем ложечку-другую соевого соуса. Едим.

Linux: команда nm

2009-08-12T06:35:00.000-07:00

Полезная это штука - nm. Если у нас есть объектник (.o) или библиотека (.a) - говорим

nm file_name

и получаем названия всех функций, которые там определены или объявлены. Утилита помечает названия буквами (почти весь латинский алфавит использует). Буква 'T', в частности, означает, что функция определена в тексте. Если стоит 'U' - это значит, что функция не определена (undefined), видимо она декларируется как внешняя (extern) и ее следует искать в другом модуле/библиотеке.

Fortran -это страшно

2009-08-04T03:28:00.000-07:00

Фортран - это какая-то древняя компьютерная мова, на которой питекантропы кодили свои программы оптимизации поиска мамонтов и графические редакторы для наскальных рисунков...

Если Вам вдруг надо постичь этот язык предков, имейте ввиду, что
* По умолчанию gcc компилирует прогу как код на Fortran 77. Если хочется писать на Fortran90 - используйте опцию -ff90

* Строку с операторами надо начинать с 7й колонки. В начале строки может стоять только ее номер (нужно для циклов) и знак комментария ('*' или 'C')

*Fortran не терпит пустых строк. Все пропуски надо комментировать. Т.е. вставляйте пустые комменты для разрядки текста.

*Функции библиотек, написанных на Фортране можно вызывать из С-кода. Ссылки по теме:
http://www.physics.oregonstate.edu/~rubin/nacphy/lapack/cprog.html
http://icl.cs.utk.edu/lapack-forum/archives/lapack/msg00115.html

Еще вот хорошая ссылка - Средства разработки программ на Линукс-кластере:
http://rsusu1.rnd.runnet.ru/koi8/devlp/cluster.html

Первые шаги в Линуксе

2009-07-31T10:10:00.000-07:00

В своем увечном (Иксы настроить не могу) Red Hat установил Midnight Commander и gcc (его не было!!) . Ставилось все из rpm-пакетов, которые на диске. Компилятор gcc - это несколько пакетов, я инсталлировал компилеры для С++ и Fortran, файлы .c, .cpp и .f теперь можно компилить единообразно.

Процедура установки такая. Сначала надо примонтировать сидюк:
mount /dev/cdrom /mnt/cdrom

Теперь осуществляем поиск по CD
find /mnt/cdrom -name "*gcc*"
Находим несколько пакетов (для разных языков программирования) с километровыми названиями. Набираем

rpm -i часть_названия_пакета

и дважды Tab - консоль сама допишет название. Инсталлируем. Чтоб посмотреть, где теперь это у нас на диске лежит набираем

which gcc

Кроме того, поставил Lapack. Скачал lapack-3.1.1.tgz. Его сначала надо разжать gzip-ом, потом разархивировать tar-ом. Кто б мне еще объяснил, чем "сжатие" от "архивации" отличаются. В директории /Src лежат сорсы для изготовления lapack.a (т.е. библиотеки Lapack), в /Blas - для blas.a. В обеих директориях лежат Makefile. которым нужен ../make.inc. Где его взять? Идем в /Install . Там лежат make.inc.LINUX, make.inc.IRIX64 и т.д. - для разных платформ, короче. Надо скопировать make.inc.LINUX в make.inс и поместить в корень файловой иерархии лапака. Затем в /Src и /Blas делаем make.

Фуххх...