以下のバッチファイルを実行します。
rem 環境によって変えてね
set im=C:\Progra~1\ImageMagick-6.3.7-Q16
rem 任意の矩形以外を暗くする
%im%\convert.exe -size 300x225 xc:none -matte -channel rgba -fill white -draw "rectangle 10,10,204,214" -blur 0x10 sf2.jpg -compose src_in -composite ( sf2.jpg -modulate 30 ) +swap -composite sample284a.png
元画像(sf2.jpg)

出力画像(sample284a.png)

rem 環境によって変えてね
set im=C:\Progra~1\ImageMagick-6.3.7-Q16
rem 任意の角丸四角以外を暗くする
%im%\convert.exe -size 300x225 xc:none -matte -channel rgba -fill white -draw "roundrectangle 10,10,204,214,20,20" -blur 0x10 sf2.jpg -compose src_in -composite ( sf2.jpg -modulate 30 ) +swap -composite sample284b.png
出力画像(sample284b.png)

rem 環境によって変えてね
set im=C:\Progra~1\ImageMagick-6.3.7-Q16
rem 任意の円以外を暗くする
%im%\convert.exe -size 300x225 xc:none -matte -channel rgba -fill white -draw "ellipse 130,110,100,100,0,360" -blur 0x10 sf2.jpg -compose src_in -composite ( sf2.jpg -modulate 30 ) +swap -composite sample284c.png
出力画像(sample284c.png)

関連項目
ImageMagickで、任意の矩形領域、角丸四角、円以外の領域を暗くする