Processing tips of huggingface datasets
In this blog I will note down some tips to process huggingface datasets
Posts by Year
2024
Process large CSV file using pandas
In this blog I will share how to process large CSV file using pandas
Large CSV file multiprocessing
In this blog I will share how to do multiprocessing on large CSV file with iterator
Multiprocessing example in python over pandas dataframe
In this blog I will share how to do simple multiprocessing in python over pandas dataframe
Multiprocessing using concurrent in python
In this blog I will share how to do multiprocessing using concurrent in python
2023
Minimal API using FastAPI
In this blog I will share how to build a minimal API using FastAPI to deploy your python app
Installing git lfs in linux
In this blog I will share how to install git lfs in linux (ubuntu in my case)
How to load vocab.txt file using huggingface transformers AutoTokenizer
In this blog I will provide a simple tips to load vocab.txt file using hugginface AutoTokenizer
Access remote jupyter lab in local machine
In this blog I will try to share how to access remote jupyter lab in local machine
Use logging in python code
In this blog I will try to share simple usage of logging
Python class method
In this blog I will try to share some use cases of python classmethod
Git reset
This blog keep note about git reset use cases.
2022
Docker Basics
This blog keep note basic use cases of docker.
bnaug (Bangla Text Augmentation) tool
bnaug is a python tool to augment Bangla text.
Colab Introduciton part-2
Colab basic use cases and helpers
Gentle intro about Screen in ubuntu
This blog describe about the basic use cases of screen
পাইথনে pathlib
This blog describe about path
Intro to supervised relation extraction
This blog post explain how supervised relation extraction method works.
Relation Extraction Training with Flair
This blog post explains how to train the relation extraction model with Flair.
Different F1 score for sequence tagging
This blog post explains different F1 score used in sequence tagging.
BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension
Review of paper BART
PALM: Pre-training an Autoencoding & Autoregressive Language Model for Context-conditioned Generation
Review of paper PALM
Understanding LSTM(Long Short Term Memory)
This blog describes about the concept of LSTM
Understanding GRU(Gated Recurrent Unit)
This blog describes about the concept of GRU
Understanding CTC(Connectionist Temporal Classification)
This blog describes about the concept of CTC
Simple REST API using Flask
This blog describes about simple REST API using Flask.
Use local git as remote repository
This blog describes about using local git as remote repository.
Most popular activation functions
This blog describes about most popular activation functions.
2021
Neural Network with backpropagation from scratch
This blog describe how to build a neural network with backpropagation from scratch.
Model Saving and Loading in PyTorch
This blog describes about how to save and load model in Pytorch.
Simple Pytorch Steps
This blog describes about how to use Pytorch to build a simple model.
পাইথনে Dictionary
Dictionary হলো আইটেমের কালেকশন যেখানে প্রতি আইটেম হলো key আর value এর পেয়ার।
Download google drive file without login
This blog describe how to download google drive file without login
পাইথনে *args এবং **kwargs
পাইথন ফাংশনে আমরা যদি আর্গুমেন্টের সংখ্যা সম্পর্কে অবগত না থাকি তবে আমরা দুই ধরণের স্পেশাল আর্গুমেন্ট পাস করাতে পারি।
bntranslit package for Bengali transliteration
This blog post explains how to use bntranslit package for Bengali transliteration.
Process Large Corpora Using Python Generator
This blog describe how to process large corpora using python generator
Text Classification and Sequence Labeling in NLP
This blog describes about text classification and sequence labeling in NLP.
Streamlit ব্যবহার করে তাৎক্ষনিক ডেমো ওয়েব অ্যাপ তৈরি
This blog describe how to prepare a simple demo app using streamlit
Share dataset using kaggle API
This blog describe how to share your dataset using kaggle API
Different Classification Metrics with Code Example
This blog describes about different classification metrics.
2020
Bangla BERT Language Model
This blog describe about Bangla BERT lanaguage model.
IRIS Data Classification
This blog describes about how to use scikit-learn to classify iris data.
Creating and Uploading Python Package to PYPI
Let us assume we want to create a simple python package called calculator
পাইথনে Pandas
পাইথনে টেবুলার ডাটা হ্যান্ডল করার জন্য Pandas একটি গুরুত্বপূর্ন টুল। নিচে Pandas এর কিছু স্পেশাল ট্রিক্স তুলে ধরা হলো। সময় অনুযায়ী ট্রিক্স এর লিস্ট বারতে থাক...
পাইথনে map, filter এবং reduce
map ফাংশন প্যারামিটার হিসাবে একটি ফাংশন এবং একটি লিস্ট নেয় এবং পুরা লিস্টের উপর ফাংশনটি প্রয়োগ করে।
পাইথনে lambda ফাংশন
পাইথনে lambda ফাংশন হলো অজ্ঞাত ফাংশন যেটি একটি অবজেক্ট রিটার্ন
Python String Processing Tricks and Tips
This blog describe how to handle string in python
পাইথনে Exception Handling
This blog describe how to handle exception in python
Using Multiple Cuda in ubuntu 16.04
This blog describe how to use multiple cuda version in ubuntu 16.04
2019
পাইথনে কম্প্রেসড ফাইল যেভাবে এক্সট্রাক্ট করবেন
This blog describe how to extract different compressed file using python
Bangla Sentenepiece Tokenizer
This blog describes about sentencepiece tokenizer.
পাইথনে argparse
This blog describe how to use argparse in python
ROUGE (Recall-Oriented Understudy for Gisting Evaluation)
This blog describes about ROUGE metric.
Using kaggle data in colab
This blog describe how to use kaggle dataset in google colaboratory
A Gentle Introduction to Google Colaboratory
You are an enthusiastic learner on Machine Learning but you have no capability to purchase a big machine to train and test your model.
Pandas with matplotlib
This blog describe how to use pandas and matplotlib in python
পাইথনে একাধিক ডিরেক্টরি নিয়ে যেভাবে কাজ করবেন
পাইথনে একাধিক ফোল্ডার বা ডিরেক্টরি নিয়া কাজ করা একটা মহা ঝামেলার কাজ। এই ঝামেলার কাজ পাইথন os মডিউল দিয়ে সমাধান করা যায়। নিচে উদাহরণ সহ তলে ধরা হলো।
Bag Of Words
This blog describes about bag of words in NLP.
Text Preprocessing
This blog describes about text preprocessing in NLP.
পাইথনে List
পাইথনে list এক ধরনের কন্টেইনার(পাত্র) হিসেবে কাজ করে, যা একই সঙ্গে অনেকগুলো ডাটা জমা করে রাখতে পারে। সেটের মত লিস্ট সাধারণত সাজানো এবং নির্দিষ্ট গণনাযোগ্য। ল...
পাইথনে collections
পাইথনে collections মডুইল মূলত বিভিন্ন ডাটা কালেকশন(তথ্য সংগ্রহ) ফাংশন নিয়ে কাজ করে।
পাইথনে Numpy
পাইথনে সাইন্টিফিক হিসাবপাতির জন্য Numpy হলো একটি কোর লাইব্রেরি। Numpy হাই-ডাইমেনশনাল অ্যারে এবং সেগুলো নিয়ে কাজ করার টুল প্রদান করে।
পাইথনে OS
OS মডুইল অপারেটিং সিস্টেম ফাংশনালিটি নিয়ে কাজ করতে সাহায্য করে। এই মডুইল দিয়ে ডিরেক্টরি লিস্ট দেখা যায়, ডিরেক্টরি তৈরি করা যায়, ডিরেক্টরি অপসারণ করা যায়, বর্...
How To Install Rouge (pyrouge) in Ubuntu 16.04
This blog describe how to install pyrouge in ubuntu 16.04
পাইথনে Random
দৈবভাবে কোন নাম্বার চয়ন করা, দৈবভাবে কোন নাম্বার জেনারেট করা ইত্যাদি কাজের জন্য পাইথনে random মডুউলটি ব্যবহার করা হয়। এটি পাইথনের স্টানডার্ট লাইব্রেরির একটি ...
পাইথনে Shutil
পাইথনে ফাইল ও ফাইল কালেকশন নিয়ে কাজ করার জন্য Shutil হল খুবেই কার্যকরি একটি মডুউল।
METEOR (Metric for Evaluation of Translation with Explicit ORdering)
This blog describes about METEOR metric.
Tokenization
This blog describes about tokenization
Beam Search
This blog describes about beam search algorithm.
BLEU(Bilingual Evaluation Understudy)
This blog describe about BLEU metric.
Word Embedding
This blog describes about word embedding.
N-Gram
This blog describes about ngram.