top of page

The building blocks NAS chooses from

Writer: NOURA ALSHAREEF
NOURA ALSHAREEF
Oct 24
15 min read

Updated: Oct 25


Oct 23, 2026 · @Nora


1. Quick recap: what a network is made of

Say we have data for 100,000 patients, and for every patient five measurements. Those five numbers are the inputs x₀…x₄ of one data point. We do not feed patients one by one; we take them in batches, maybe 100 at a time, so one batch is a table with 100 rows and 5 columns. In the picture below we use 2 at a time so it stays readable: patient A in front, patient B behind.

The data decide the values in the circles. The AI engineer decides the shape around them: how many inputs to take from each data point, how many neurons in the hidden layer (the y's), how many hidden layers to stack, which operation connects them, and how wide each one is. Every arrow between two circles is a weight, random at first and tuned by training; 5 inputs into 3 neurons is 15 arrows. Each neuron adds up its arrows (weight × input) and passes the sum through an activation. Written as matrices, the batch is X (2 × 5), the arrows are Wᵀ (5 × 3), and the layer is one product Y = X · Wᵀ (2 × 3): every cell of Y is one patient's row times one neuron's column, added up. The cost of the layer is n × cᵢ × cₒ multiplications.

Those shape decisions, how many, how wide, which operation, are exactly what this post is about. Pruning and quantization took them as given; NAS makes them.


مراجعة : لو كان عندنا بيانات 100 ألف مريض، لكل مريض خمس قياسات هي المدخلات x₀…x₄. ، في الشبكة العصبية NN لا نمررهم واحدًا واحدًا بل دفعات (حتى ما نأخذ وقت طويل، فطبيعي أأخذ مثلًا ١٠ ثم ١٠ وهكذا .. ولكن هنا في هذا المقال بناخذ بيانات مريضين في نفس الوقت وليس ١٠ فقط لغرض سهولة العرض) البيانات (المدخلات) هي القيم الموجودة في الدوائر، والمهندس يحدد الشكل: كم مدخلًا (ممكن يكتفي ب ٥ ،ممكن يزيد من عنده مثلا حاصل قسمة ٢ منهم وهكذا) ، كم خلية عصبية (دائرة) في الطبقات المخفية، كم طبقة، وأي عملية تربطها. كل سهم وزن، وكل خلية تجمع أسهمها، والمصفوفات هي الشيء نفسه مكتوبًا للدفعة كلها.

هذه القرارات الي يحددها المهندس عن الشكل هي موضوع المقال.


On CNNs, things are a little different.

The data point is no longer a row; it is a box. A patient was 5 numbers. An image is height × width pixels, and each pixel has several channels (5 in our example). So one data point is cᵢ × hᵢ × wᵢ, and a batch is n × cᵢ × hᵢ × wᵢ: four dimensions instead of two.


The weights are no longer one arrow per input. Connecting every pixel to every neuron would mean a huge number of arrows, and a shape in the top-left corner would have to be learned again for the bottom-right. Instead, a convolution layer uses a small filter: a 3×3 window that goes through all cᵢ input channels, so 3 × 3 × 5 = 45 weights. The same filter slides over every p

osition of the image, reusing those 45 weights each time.


One output cell is still a multiply-and-add. At one window position, the 45 pixels under the window are multiplied pair by pair with the filter’s 45 weights and summed: one number, one cell. Slide the window to the next position for the next cell; a 3×3 window fits in 3×3 positions over a 5×5 input, so one filter produces one 3×3 slice.


Each filter gives one output channel, so three filters give cₒ = 3 slices. That is why the weights have four dimensions, (cₒ, cᵢ, kₕ, k_w): number of filters, input channels, kernel height, kernel width, here (3, 5, 3, 3), and why the cost is six numbers multiplied: cₒ × cᵢ × kₕ × k_w × hₒ × wₒ, here 3 × 5 × 3 × 3 × 3 × 3 = 1,215 multiplies for one image.


مع الصور تصبح نقطة البيانات صندوقًا (قنوات × ارتفاع × عرض) بدل صف. وبدل سهم لكل مدخل، تستخدم طبقة الـ convolution نافذة صغيرة (كيرنل 3×3 عبر كل قنوات الدخل) (45 وزنًا) ويمر على الصورة كلها مكررًا الأوزان نفسها. كل موضع للنافذة: 45 ضربًا وجمعًا تعطي خلية واحدة في المخرج؛ كل فلتر في الأخير يعطي فقط شريحة واحدة من المخرج (بحالتنا لأنه ٣ فلاتر فستكون ٣ شرائح خلف بعض - تُعتبر ٣ قنوات) لذلك للأوزان أربعة أبعاد، والكلفة حاصل ضرب ستة أعداد.


2. Primitive Operations

In pruning and quantization we took a finished network and made it lighter without changing its shape. Neural architecture search goes one step further: it lets an algorithm design the shape itself (how many layers, which kind, how wide) in search of a network that is accurate and light at the same time, because the possible choices are far too many for a human to try by hand.

A network is a stack of a few kinds of layer. NAS chooses among them, so we need to know what each one costs. Cost here means multiplications (MACs), and for a convolution it is the product of six numbers:

cₒ × cᵢ × kₕ × k_w × hₒ × wₒ(output channels × input channels × kernel height × kernel width × output height × output width)

Every trick below shrinks one of those six. We start from the normal layer as a reference, then three tricks:

  • Grouped convolution — shrinks cᵢ: each filter reads only cᵢ/g of the input channels.

  • Depthwise convolution — shrinks cᵢ to its limit, 1: each filter reads a single channel.

  • 1×1 convolution — shrinks kₕ × k_w to 1: no window, only channel mixing.


Convolution. The layer we just saw in the recap: every output channel looks at every input channel through a k×k window. For our 5×5×6 box with 4 filters of 3×3: 4 × 6 × 3 × 3 × 3 × 3 = 1,944 multiplies.


في التقليم والتكميم كنّا نأخذ شبكة جاهزة ونحاول تخفيفها: نحذف أوزانًا، أو نقلّل عدد البتات. الشكل نفسه لا يتغيّر.

البحث عن المعمارية (NAS) يسأل سؤالًا أسبق من ذلك: لماذا لا نصمّم الشكل نفسه ليكون خفيفًا ودقيقًا من البداية؟ كم طبقة؟ أي نوع لكل طبقة (التفاف عادي، عمقي، 1×1…)؟ كم قناة؟ أي حجم فلتر؟ هذه قرارات كان المهندس يتخذها يدويًا بالتجربة والخطأ، وعددها هائل — ملايين التركيبات الممكنة، وهو ما يُسمّى فضاء البحث (search space) — فلا يستطيع إنسان تجربتها كلها.

لذلك نحوّل التصميم إلى بحث آلي: نحدّد مساحة الخيارات، ونترك خوارزمية تقترح شكلًا، تقيسه (دقة، سرعة، ذاكرة)، تتعلّم من النتيجة، وتقترح شكلًا أفضل، وهكذا. والنتيجة شبكات تُحقّق الدقة نفسها بكلفة أقل بكثير، أو تناسب جهازًا محدّدًا (هاتف، متحكّم صغير) لا تناسبه الشبكات المصمّمة يدويًا.

ولهذا نبدأ بكلفة كل نوع من الطبقات، مقاسةً بعدد عمليات الضرب (MACs): الخوارزمية لا تستطيع الاختيار بين الطبقات إن لم تعرف ثمن كل واحدة. في طبقة الالتفاف (convolution) الكلفة هي حاصل ضرب ستة أعداد:

cₒ × cᵢ × kₕ × k_w × hₒ × wₒ

(قنوات الخرج × قنوات الدخل × ارتفاع الفلتر × عرضه × ارتفاع الخرج × عرضه)


كل حيلة من الحيل التالية تُصغّر واحدًا من هذه الأعداد الستة. نبدأ بالطبقة العادية كمرجع، ثم ثلاث حيل:

  • الالتفاف المجمّع (grouped) — يُصغّر cᵢ: كل فلتر يقرأ cᵢ/g من قنوات الدخل فقط.

  • الالتفاف العمقي (depthwise) — يُصغّر cᵢ إلى حدّه الأدنى 1: كل فلتر يقرأ قناة واحدة.

  • التفاف 1×1 — يُصغّر kₕ × k_w إلى 1: لا نافذة، فقط خلط بين القنوات.


Grouped convolution. Split the channels into g groups and let each group talk only to itself. Cost drops by g. The price: information cannot cross between groups.


Without grouping (g = 1): every filter reads all 6 channels → each filter is 6 slices deep. 4 filters × 6 × 9 = 216 weights.

With grouping, say g = 2:

  • Group 1: filters 1 and 2 read channels 1–3 → make out 1 and out 2.

  • Group 2: filters 3 and 4 read channels 4–6 → make out 3 and out 4.


Before grouping :


With grouping g=2


Let we see it from different angle .. before grouping :

After grouping :


So with grouping cost go down by g .. cost = original_cost ÷ g, so g = 5 leaves 1/5 of the cost = an 80% cut. Two conditions, though: 1- g must divide both cᵢ and cₒ , 2- the saving is on weights and multiplies, not on accuracy. With g = 5, each output sees only 1/5 of the input channels and nothing from the other 4/5.


لالتفاف المجمّع: نقسم القنوات إلى g مجموعات، وكل مجموعة من الفلاتر تقرأ قنوات مجموعتها فقط، فيصغر عمق كل فلتر وتنقسم الكلفة على g (في مثالنا g = 2: من 216 وزنًا إلى 108). الثمن أن المعلومات لا تعبر بين المجموعات، ويُشترط أن يقبل عدد قنوات الدخل والخرج القسمة على g.


Depthwise convolution. The extreme case, number of filters = number of channels

so g = number of channels: every channel has its own k×k kernel and sees nothing else. Now each filter is one slice deep, so every input channel gets its own 3×3 kernel and never mixes with the others. In our box: 6 filters × 9 = 54 weights instead of 324. Very cheap, but each output knows only its own channel.

Filter1 address channel 1, filter2 addresses channel 2 , .., and filter 6 addresses channel 6..


But each filter still slides over its whole 5×5 slice, window by window. A 3×3 window on a 5×5 slice has 9 positions, so each filter produces a 3×3 output slice (9 cells), not one cell.


So the output is still a box: 3×3, 6 slices deep — exactly the same shape a normal layer with 6 filters would give. What changed is not the output; it’s how much each filter reads to make its slice:


filter depth

weights per filter

output

normal (g = 1)

6 slices

6 × 9 = 54

3×3 slice

grouped (g = 2)

3 slices

3 × 9 = 27

3×3 slice

depthwise (g = 6)

1 slice

1 × 9 = 9

3×3 slice

الالتفاف العمقي: هو التجميع في أقصى حدوده (g = عدد القنوات)، فيصبح عدد الفلاتر = عدد قنوات الدخل، وكل قناة لها فلتر واحد بعمق شريحة واحدة. رخيص جدًا، لكن كل خرج لا يعرف سوى قناته.


1×1 convolution. The opposite trade: shrink the window to a single pixel, but keep all channels. A filter is a column of cᵢ weights; at every pixel it multiplies the pixel’s cᵢ numbers by that column — the matrix multiply from the recap, applied pixel by pixel. No neighbours, only channel mixing. In our box: 4 filters × 6 = 24 weights. It is the usual cheap way to change the number of channels (6 in → 4 out).

In this example, instead of 4 filters with a 3×3 kernel on each of their 6 channels, we have 4 filters with a 1×1 kernel on each of their 6 channels.




التفاف 1×1: نافذته بكسل واحد، فالفلتر عمود من cᵢ أوزان يُضرب في قيم البكسل عبر القنوات كلها، وهو ضرب المصفوفات من الملخّص مطبّقًا على كل بكسل. لا يرى الجيران بل يخلط القنوات فقط، وهو الطريقة الرخيصة لتغيير عددها (6 → 4 بـ 24 وزنًا). في مثالنا: الفلاتر الأربعة نفسها بقنواتها الست، لكن النواة رقم واحد بدل 3×3.


A 1×1 convolution changes the channel count in either direction. Take one pixel with 24 channels: the input fixes how deep each filter is (24), and the number of filters is the number of output channels. If I want the channel count to stay the same, I use 24 filters. If I want more, I pick a higher number, say 144, and the pixel comes out with 144 channels instead of 24. If I want fewer, I pick a lower number, say 6, and the pixel comes out with 6 channels instead of 24 (number of filters = number of output channels). Look at the figure below: the same 24-channel pixel, three choices of filter count. How expanding and squeezing are put to use comes in the next section.


التفاف 1×1 يغيّر عدد القنوات في الاتجاهين. خذي بكسلًا واحدًا بـ 24 قناة: الدخل يحدّد عمق كل فلتر (24)، وعدد الفلاتر هو عدد قنوات الخرج. إن أردتِ إبقاء العدد كما هو تستخدمين 24 فلترًا؛ وإن أردتِ زيادته تختارين عددًا أكبر، مثلًا 144، فيخرج البكسل بـ 144 قناة بدل 24؛ وإن أردتِ تقليله تختارين عددًا أصغر، مثلًا 6، فيخرج بـ 6 قنوات بدل 24 (عدد الفلاتر = عدد قنوات الخرج). انظر إلى الشكل أدناه: البكسل نفسه بـ 24 قناة، وثلاثة خيارات لعدد الفلاتر. أما طريقة الاستفادة من التوسيع والتضييق ففي القسم التالي.


3. Building blocks

The three tricks above (grouped, depthwise, 1×1) are not used on their own. They are stacked with the normal convolution into a block of three layers in a row, repeated dozens of times across the network. This block is called a cell. A cell is a drop-in replacement for one convolution layer plus its activation (ReLU): same channels in, same channels out, far fewer weights. Let’s see it in the bigger picture first:



Every conv + ReLU pair became one cell, and the outline (input → … → flatten → FC → output) is untouched. The max-pool layers can stay — a max-pool shrinks the picture by keeping the largest value of every 2×2 patch, and has no weights — or a reduction cell can take their place: the same recipe with stride 2 in its 3×3, so it shrinks the picture itself. The whole network is then two recipes, a normal cell and a reduction cell, copied over and over. Design those two and you have designed the network; that is what NAS searches for.

Now zoom into one cell:


الحيل الثلاث لا تُستخدم منفردة، بل تُرصّ مع الـ convolution العادي في كتلة من ثلاث طبقات تتكرّر عشرات المرات عبر الشبكة. هذه الكتلة تُسمّى cell، وهي بديل مباشر لطبقة convolution واحدة مع تفعيلها (ReLU): القنوات نفسها دخلًا وخرجًا، بأوزان أقل بكثير. في الصورة الكبيرة: كل زوج conv + ReLU صار cell واحدة والهيكل العام لم يُمسّ؛ أما طبقات max-pool (تصغّر الصورة بأخذ أكبر قيمة في كل مربّع 2×2، وبلا أوزان) فإمّا تبقى أو تحلّ محلّها reduction cell: الوصفة نفسها بخطوة 2 في الـ 3×3 فتصغّر الصورة بنفسها. فالشبكة كلها وصفتان مكرّرتان، cell عادية وreduction cell؛ صمّمي الاثنتين وقد صمّمتِ الشبكة، وهذا ما يبحث عنه NAS.


Now zoom into one cell:

Instead of one wide 3×3 layer: 1×1 to squeeze the channels, a grouped 3×3 on the few channels left, 1×1 to expand and mix the groups back, with ReLU after each. 2,624 weights instead of 36,864. Every cell asks the same question: the 3×3 layer is the expensive one, so how do we make it work on as few channels as possible?


داخل الـ cell الواحدة، بدل طبقة convolution واحدة عريضة بـ kernel حجمه 3×3: 1×1 يضيّق القنوات، ثم 3×3 مجمّع على القنوات القليلة المتبقية، ثم 1×1 يوسّعها ويخلط المجموعات، وبعد كل طبقة ReLU. النتيجة 2,624 وزنًا بدل 36,864. وكل cell تسأل السؤال نفسه: طبقة 3×3 هي الغالية، فكيف نجعلها تعمل على أقل قنوات ممكنة؟


  1. Solution 1 : Bottleneck. Squeeze the channels with a 1×1, do the expensive 3×3 on the narrow version, expand back with another 1×1. The 3×3 runs on a quarter of the channels, so the block costs several times less than one wide 3×3. The same squeeze-then-expand idea reappears in today's efficient language models.


عنق الزجاجة (bottleneck): نضيّق القنوات أولًا بطبقة 1×1، ثم نُجري طبقة 3×3 الغالية على النسخة الضيقة، ثم نعيد توسيع القنوات بطبقة 1×1 أخرى. بهذا تعمل 3×3 على ربع القنوات فقط، فتنخفض كلفة الكتلة (الخلية) عدة مرات مقارنةً بطبقة 3×3 عريضة واحدة. وفكرة "ضيّق ثم وسّع" نفسها تعود اليوم في نماذج اللغة الفعّالة.


  • Inverted bottleneck (MobileNetV2). The opposite: expand the channels 6× with a 1×1, run a depthwise 3×3 (cheap, so the width is affordable), squeeze back. Very few parameters and MACs. The catch: that 6×-wide middle is a big activation, so the block is light on weights but heavy on memory, the point from the roofline post again.


العنق المقلوب يوسّع القنوات بـ 1×1 من 24 إلى 144 (بافتراض ان عدد القنوات معقول ٢٤)، ثم يُجري 3×3 عمقيًا على النسخة العريضة (1,296 وزنًا فقط)، ثم يضيّقها 1×1 إلى 24 ويخلط القنوات. المجموع 8,208 وزنًا، لكن الوسط العريض تنشيط من 451,584 قيمة يجب أن يتّسع له ذاكرة الجهاز.


  • Channel shuffle (ShuffleNet). Make even the 1×1 layers grouped, then shuffle the channel order between layers so the groups still exchange information. Cheap to implement: it moves pointers, not data.

في هذه الآلية حتى طبقات 1×1 مجمّعة (g = 3)، فتنخفض أوزانها من 36 إلى 12، لكن المجموعات لا تتبادل المعلومات: اللون الوردي لا يسمع من الأخضر أو الأزرق أبدًا. الحل هو خلط القنوات: نُعيد ترتيبها بعد الطبقة الأولى (واحدة من كل مجموعة، ثم الثانية من كل مجموعة) فتضمّ كل مجموعة في الطبقة التالية لونين، وبعد كتلة أخرى تعرف كل قناة الألوان الثلاثة. الخلط لا يحسب شيئًا ولا يحمل أوزانًا، فهو مجرد إعادة ترقيم للقنوات.


  • Attention (transformers)

    1. The input. A sentence of n words (tokens). Each word is a row of d numbers, just as each patient in the recap was a row of 5 measurements. So the input is a matrix X of size n × d.

    2. The problem it solves. A convolution looks at a fixed window of neighbours. In language, the word that matters may be far away: “than” needs “lot”, eight words back. Attention lets every word look at every other word, and lets each word decide for itself how much to look at each one.

    3. Three roles for every word. From its row, each word makes three small vectors, using three weight matrices that are learned like any other W:

    • Query (q): what am I looking for?

    • Key (k): what do I contain?

    • Value (v): what do I hand over if someone looks at me?

    Q = X·W_Q, K = X·W_K, V = X·W_V, each of size n × d.

    4. Scores: who looks at whom. For every pair of words (i, j), the score is qᵢ · kⱼ: how well word i’s question matches word j’s content. All pairs at once is Q·Kᵀ, a table of size n × n. Divide by √d so the numbers stay small, then apply softmax to each row so it becomes weights that add up to 1.

    5. The output: mix the values. The new vector for word i is the weighted average of all the values: Σⱼ weightᵢⱼ · vⱼ. In matrix form: softmax(QKᵀ/√d) · V. That is the whole formula.

    6. Why it is expensive. Two matrix products, both of size n × n × d:

    • Q·Kᵀ: (n × d)·(d × n) → n × n

    • weights · V: (n × n)·(n × d) → n × d

    Both grow with n². Double the number of words and the work is 4×. A convolution’s cost grows only linearly with the number of pixels. This is why long context is expensive.

    7. Multi-head. Steps 3–5 are repeated h times in parallel, each with its own W_Q, W_K, W_V. Each head asks a different kind of question: one may track grammar, another which noun an adjective belongs to. The h outputs are concatenated and one last linear layer mixes them.

    8. A note for pruning. The n × n table is built from the input, so it is an activation, not a weight. Pruning weights does not shrink it; only W_Q, W_K, W_V can be pruned, and they are small. (The optional mask is a different thing: when generating text, a word may not look at the words that come after it.)


في الـ attention كل كلمة صفّ من d أرقام، ومنه تُشتق ثلاثة متجهات: query (ماذا أبحث عنه؟) وkey (ماذا أحتوي؟) وvalue (ماذا أسلّم لمن ينظر إليّ). تُحسب درجة لكل زوج من الكلمات بضرب query الأولى في key الثانية، فينتج جدول n × n يُطبَّع بـ softmax ثم تُخلط به القيم. ضربان مصفوفيان بحجم n × n × d، فالكلفة تنمو بمربّع عدد الكلمات، وهذا سرّ غلاء السياق الطويل. والجدول activation لا أوزان، لذا لا يفيد فيه التقليم.


4. Closing: the price list, and why it matters

Everything in this post was a price list.

The primitive operations — four ways to run a convolution, each shrinking one term of the cost formula

Our running example, so the numbers in the table have a home:

  • input box: 5×5 pixels, cᵢ = 6 channels (the 6 slices)

  • kernel: kₕ = k_w = 3 (and 1 for the 1×1 layer)

  • filters: cₒ = 4 output channels (6 for depthwise, since there it must equal cᵢ)

  • output: hₒ = wₒ = 3 for a 3×3 kernel (5 − 3 + 1), 5 for 1×1

Cost of one layer = cₒ × cᵢ × kₕ × k_w × hₒ × wₒ multiplies;

weights = the same without hₒ × wₒ.

operation

what it reads

weights

multiplies

normal 3×3

all 6 channels, 3×3 window

4 × 6 × 9 = 216

216 × 9 = 1,944

grouped 3×3 (g = 2)

3 channels each

4 × 3 × 9 = 108

972

depthwise 3×3

1 channel each (6 filters)

6 × 1 × 9 = 54

486

1×1

all 6 channels, one pixel

4 × 6 × 1 = 24

24 × 25 = 600

Plus attention, which looks at every token instead of every pixel and pays n² for it.


The blocks — three recipes that stack these so the expensive 3×3 touches as few channels as possible: bottleneck (squeeze–3×3–expand), inverted bottleneck (expand–depthwise–squeeze), and channel shuffle (grouped 1×1 with a reorder in between).


Why this is the start of NAS. A network is a long stack of such blocks, and for each one someone has to decide: which block, how many channels, which kernel size, how many times to repeat it. The number of combinations is in the billions. Engineers used to pick by hand and intuition. Neural architecture search replaces the hand with a loop: propose a shape, score it (accuracy, latency, memory, energy), learn from the score, propose a better shape. The price list above is what the loop reasons with — it cannot choose between layers without knowing what each one costs.


In the next post: how that loop works — what the search space looks like, how shapes are proposed, and how they are scored without training every one of them.


كان هذا المقال قائمة أسعار: أربع طرق لإجراء الـ convolution (عادي، مجمّع، عمقي، 1×1) كلٌّ منها يصغّر حدًّا من معادلة الكلفة، وattention الذي ينظر إلى كل الكلمات ويدفع n² ثمنًا لذلك، وثلاث كتل ترصّ هذه الطبقات كي تلمس طبقة 3×3 الغالية أقل قنوات ممكنة. الشبكة رصّة طويلة من هذه الكتل، ولكل كتلة قرارات (أي كتلة؟ كم قناة؟ أي نواة؟ كم تكرار؟) تبلغ تركيباتها المليارات.

البحث عن المعمارية (NAS) يستبدل اليد البشرية بحلقة - loop: اقترح شكلًا، قِسه، تعلّم، اقترح أفضل، وقائمة الأسعار هذه هي ما تفكّر به الحلقة. في المقال القادم سنناقش كيف تعمل هذه الحلقة.

Sources

  • MIT 6.5940 Lecture 7: Neural Architecture Search, Part I

  • Zoph et al., Learning Transferable Architectures for Scalable Image Recognition, CVPR 2018 (cell-level search space, RL controller)

  • Sandler et al., MobileNetV2, CVPR 2018 (inverted bottleneck)

  • Zhang et al., ShuffleNet, CVPR 2018 (channel shuffle)

  • Tan & Le, EfficientNet, ICML 2019 (compound scaling by grid search)

  • Liu et al., DARTS, ICLR 2019 and Wu et al., FBNet, CVPR 2019 (gradient-based, latency-aware search)

  • Lin et al., MCUNet / TinyNAS, NeurIPS 2020 (search-space design for microcontrollers)

header.all-comments


White Structure

STAY IN THE KNOW

Thanks for submitting!

NoraTech

i@nshareef.com

©2023 by NoraTech 

bottom of page