Processing tips of huggingface datasets
In this blog I will note down some tips to process huggingface datasets
Posts by Category
- python 33
- nlp 23
- bangla 17
- msc 8
- metrics 6
- dl 6
- large file processing 6
- colab 3
- git 3
- embedding 2
- kaggle 2
- tokenizer 2
- ml 2
- transformers 2
- datasets 2
- web 2
- tools 2
- pytorch 2
- paper 2
- review 2
- relation-extraction 2
- tool 2
- tokenization 1
- cuda 1
- gpu 1
- language-model 1
- demo 1
- transliteration 1
- drive 1
- speech 1
- sequence-labelling 1
- ubuntu 1
- linux 1
- text-augmentation 1
- devops 1
- docker 1
- github 1
- huggingface 1
- git-lfs 1
- api 1
- deployment 1
- pandas 1
python
Process large CSV file using pandas
In this blog I will share how to process large CSV file using pandas
Large CSV file multiprocessing
In this blog I will share how to do multiprocessing on large CSV file with iterator
Multiprocessing example in python over pandas dataframe
In this blog I will share how to do simple multiprocessing in python over pandas dataframe
Multiprocessing using concurrent in python
In this blog I will share how to do multiprocessing using concurrent in python
Minimal API using FastAPI
In this blog I will share how to build a minimal API using FastAPI to deploy your python app
Access remote jupyter lab in local machine
In this blog I will try to share how to access remote jupyter lab in local machine
Use logging in python code
In this blog I will try to share simple usage of logging
Python class method
In this blog I will try to share some use cases of python classmethod
bnaug (Bangla Text Augmentation) tool
bnaug is a python tool to augment Bangla text.
পাইথনে pathlib
This blog describe about path
Simple REST API using Flask
This blog describes about simple REST API using Flask.
Neural Network with backpropagation from scratch
This blog describe how to build a neural network with backpropagation from scratch.
পাইথনে Dictionary
Dictionary হলো আইটেমের কালেকশন যেখানে প্রতি আইটেম হলো key আর value এর পেয়ার।
Download google drive file without login
This blog describe how to download google drive file without login
পাইথনে *args এবং **kwargs
পাইথন ফাংশনে আমরা যদি আর্গুমেন্টের সংখ্যা সম্পর্কে অবগত না থাকি তবে আমরা দুই ধরণের স্পেশাল আর্গুমেন্ট পাস করাতে পারি।
Process Large Corpora Using Python Generator
This blog describe how to process large corpora using python generator
Creating and Uploading Python Package to PYPI
Let us assume we want to create a simple python package called calculator
পাইথনে Pandas
পাইথনে টেবুলার ডাটা হ্যান্ডল করার জন্য Pandas একটি গুরুত্বপূর্ন টুল। নিচে Pandas এর কিছু স্পেশাল ট্রিক্স তুলে ধরা হলো। সময় অনুযায়ী ট্রিক্স এর লিস্ট বারতে থাক...
পাইথনে map, filter এবং reduce
map ফাংশন প্যারামিটার হিসাবে একটি ফাংশন এবং একটি লিস্ট নেয় এবং পুরা লিস্টের উপর ফাংশনটি প্রয়োগ করে।
পাইথনে lambda ফাংশন
পাইথনে lambda ফাংশন হলো অজ্ঞাত ফাংশন যেটি একটি অবজেক্ট রিটার্ন
Python String Processing Tricks and Tips
This blog describe how to handle string in python
পাইথনে Exception Handling
This blog describe how to handle exception in python
পাইথনে কম্প্রেসড ফাইল যেভাবে এক্সট্রাক্ট করবেন
This blog describe how to extract different compressed file using python
পাইথনে argparse
This blog describe how to use argparse in python
Pandas with matplotlib
This blog describe how to use pandas and matplotlib in python
পাইথনে একাধিক ডিরেক্টরি নিয়ে যেভাবে কাজ করবেন
পাইথনে একাধিক ফোল্ডার বা ডিরেক্টরি নিয়া কাজ করা একটা মহা ঝামেলার কাজ। এই ঝামেলার কাজ পাইথন os মডিউল দিয়ে সমাধান করা যায়। নিচে উদাহরণ সহ তলে ধরা হলো।
পাইথনে List
পাইথনে list এক ধরনের কন্টেইনার(পাত্র) হিসেবে কাজ করে, যা একই সঙ্গে অনেকগুলো ডাটা জমা করে রাখতে পারে। সেটের মত লিস্ট সাধারণত সাজানো এবং নির্দিষ্ট গণনাযোগ্য। ল...
পাইথনে collections
পাইথনে collections মডুইল মূলত বিভিন্ন ডাটা কালেকশন(তথ্য সংগ্রহ) ফাংশন নিয়ে কাজ করে।
পাইথনে Numpy
পাইথনে সাইন্টিফিক হিসাবপাতির জন্য Numpy হলো একটি কোর লাইব্রেরি। Numpy হাই-ডাইমেনশনাল অ্যারে এবং সেগুলো নিয়ে কাজ করার টুল প্রদান করে।
পাইথনে OS
OS মডুইল অপারেটিং সিস্টেম ফাংশনালিটি নিয়ে কাজ করতে সাহায্য করে। এই মডুইল দিয়ে ডিরেক্টরি লিস্ট দেখা যায়, ডিরেক্টরি তৈরি করা যায়, ডিরেক্টরি অপসারণ করা যায়, বর্...
পাইথনে Random
দৈবভাবে কোন নাম্বার চয়ন করা, দৈবভাবে কোন নাম্বার জেনারেট করা ইত্যাদি কাজের জন্য পাইথনে random মডুউলটি ব্যবহার করা হয়। এটি পাইথনের স্টানডার্ট লাইব্রেরির একটি ...
পাইথনে Shutil
পাইথনে ফাইল ও ফাইল কালেকশন নিয়ে কাজ করার জন্য Shutil হল খুবেই কার্যকরি একটি মডুউল।
nlp
Intro to supervised relation extraction
This blog post explain how supervised relation extraction method works.
Relation Extraction Training with Flair
This blog post explains how to train the relation extraction model with Flair.
Different F1 score for sequence tagging
This blog post explains different F1 score used in sequence tagging.
BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension
Review of paper BART
PALM: Pre-training an Autoencoding & Autoregressive Language Model for Context-conditioned Generation
Review of paper PALM
Understanding LSTM(Long Short Term Memory)
This blog describes about the concept of LSTM
Understanding GRU(Gated Recurrent Unit)
This blog describes about the concept of GRU
Understanding CTC(Connectionist Temporal Classification)
This blog describes about the concept of CTC
bntranslit package for Bengali transliteration
This blog post explains how to use bntranslit package for Bengali transliteration.
Text Classification and Sequence Labeling in NLP
This blog describes about text classification and sequence labeling in NLP.
Different Classification Metrics with Code Example
This blog describes about different classification metrics.
Bangla BERT Language Model
This blog describe about Bangla BERT lanaguage model.
Bangla Sentenepiece Tokenizer
This blog describes about sentencepiece tokenizer.
ROUGE (Recall-Oriented Understudy for Gisting Evaluation)
This blog describes about ROUGE metric.
Bag Of Words
This blog describes about bag of words in NLP.
Text Preprocessing
This blog describes about text preprocessing in NLP.
How To Install Rouge (pyrouge) in Ubuntu 16.04
This blog describe how to install pyrouge in ubuntu 16.04
METEOR (Metric for Evaluation of Translation with Explicit ORdering)
This blog describes about METEOR metric.
Tokenization
This blog describes about tokenization
Beam Search
This blog describes about beam search algorithm.
BLEU(Bilingual Evaluation Understudy)
This blog describe about BLEU metric.
Word Embedding
This blog describes about word embedding.
N-Gram
This blog describes about ngram.
bangla
পাইথনে pathlib
This blog describe about path
পাইথনে Dictionary
Dictionary হলো আইটেমের কালেকশন যেখানে প্রতি আইটেম হলো key আর value এর পেয়ার।
পাইথনে *args এবং **kwargs
পাইথন ফাংশনে আমরা যদি আর্গুমেন্টের সংখ্যা সম্পর্কে অবগত না থাকি তবে আমরা দুই ধরণের স্পেশাল আর্গুমেন্ট পাস করাতে পারি।
Bangla BERT Language Model
This blog describe about Bangla BERT lanaguage model.
পাইথনে Pandas
পাইথনে টেবুলার ডাটা হ্যান্ডল করার জন্য Pandas একটি গুরুত্বপূর্ন টুল। নিচে Pandas এর কিছু স্পেশাল ট্রিক্স তুলে ধরা হলো। সময় অনুযায়ী ট্রিক্স এর লিস্ট বারতে থাক...
পাইথনে map, filter এবং reduce
map ফাংশন প্যারামিটার হিসাবে একটি ফাংশন এবং একটি লিস্ট নেয় এবং পুরা লিস্টের উপর ফাংশনটি প্রয়োগ করে।
পাইথনে lambda ফাংশন
পাইথনে lambda ফাংশন হলো অজ্ঞাত ফাংশন যেটি একটি অবজেক্ট রিটার্ন
পাইথনে Exception Handling
This blog describe how to handle exception in python
পাইথনে কম্প্রেসড ফাইল যেভাবে এক্সট্রাক্ট করবেন
This blog describe how to extract different compressed file using python
পাইথনে argparse
This blog describe how to use argparse in python
পাইথনে একাধিক ডিরেক্টরি নিয়ে যেভাবে কাজ করবেন
পাইথনে একাধিক ফোল্ডার বা ডিরেক্টরি নিয়া কাজ করা একটা মহা ঝামেলার কাজ। এই ঝামেলার কাজ পাইথন os মডিউল দিয়ে সমাধান করা যায়। নিচে উদাহরণ সহ তলে ধরা হলো।
পাইথনে List
পাইথনে list এক ধরনের কন্টেইনার(পাত্র) হিসেবে কাজ করে, যা একই সঙ্গে অনেকগুলো ডাটা জমা করে রাখতে পারে। সেটের মত লিস্ট সাধারণত সাজানো এবং নির্দিষ্ট গণনাযোগ্য। ল...
পাইথনে collections
পাইথনে collections মডুইল মূলত বিভিন্ন ডাটা কালেকশন(তথ্য সংগ্রহ) ফাংশন নিয়ে কাজ করে।
পাইথনে Numpy
পাইথনে সাইন্টিফিক হিসাবপাতির জন্য Numpy হলো একটি কোর লাইব্রেরি। Numpy হাই-ডাইমেনশনাল অ্যারে এবং সেগুলো নিয়ে কাজ করার টুল প্রদান করে।
পাইথনে OS
OS মডুইল অপারেটিং সিস্টেম ফাংশনালিটি নিয়ে কাজ করতে সাহায্য করে। এই মডুইল দিয়ে ডিরেক্টরি লিস্ট দেখা যায়, ডিরেক্টরি তৈরি করা যায়, ডিরেক্টরি অপসারণ করা যায়, বর্...
পাইথনে Random
দৈবভাবে কোন নাম্বার চয়ন করা, দৈবভাবে কোন নাম্বার জেনারেট করা ইত্যাদি কাজের জন্য পাইথনে random মডুউলটি ব্যবহার করা হয়। এটি পাইথনের স্টানডার্ট লাইব্রেরির একটি ...
পাইথনে Shutil
পাইথনে ফাইল ও ফাইল কালেকশন নিয়ে কাজ করার জন্য Shutil হল খুবেই কার্যকরি একটি মডুউল।
msc
Colab Introduciton part-2
Colab basic use cases and helpers
Download google drive file without login
This blog describe how to download google drive file without login
Streamlit ব্যবহার করে তাৎক্ষনিক ডেমো ওয়েব অ্যাপ তৈরি
This blog describe how to prepare a simple demo app using streamlit
Share dataset using kaggle API
This blog describe how to share your dataset using kaggle API
Creating and Uploading Python Package to PYPI
Let us assume we want to create a simple python package called calculator
Using Multiple Cuda in ubuntu 16.04
This blog describe how to use multiple cuda version in ubuntu 16.04
Using kaggle data in colab
This blog describe how to use kaggle dataset in google colaboratory
A Gentle Introduction to Google Colaboratory
You are an enthusiastic learner on Machine Learning but you have no capability to purchase a big machine to train and test your model.
metrics
Different F1 score for sequence tagging
This blog post explains different F1 score used in sequence tagging.
Different Classification Metrics with Code Example
This blog describes about different classification metrics.
ROUGE (Recall-Oriented Understudy for Gisting Evaluation)
This blog describes about ROUGE metric.
How To Install Rouge (pyrouge) in Ubuntu 16.04
This blog describe how to install pyrouge in ubuntu 16.04
METEOR (Metric for Evaluation of Translation with Explicit ORdering)
This blog describes about METEOR metric.
BLEU(Bilingual Evaluation Understudy)
This blog describe about BLEU metric.
dl
Understanding LSTM(Long Short Term Memory)
This blog describes about the concept of LSTM
Understanding GRU(Gated Recurrent Unit)
This blog describes about the concept of GRU
Most popular activation functions
This blog describes about most popular activation functions.
Model Saving and Loading in PyTorch
This blog describes about how to save and load model in Pytorch.
Simple Pytorch Steps
This blog describes about how to use Pytorch to build a simple model.
IRIS Data Classification
This blog describes about how to use scikit-learn to classify iris data.
large file processing
Processing tips of huggingface datasets
In this blog I will note down some tips to process huggingface datasets
Process large CSV file using pandas
In this blog I will share how to process large CSV file using pandas
Large CSV file multiprocessing
In this blog I will share how to do multiprocessing on large CSV file with iterator
Multiprocessing example in python over pandas dataframe
In this blog I will share how to do simple multiprocessing in python over pandas dataframe
Multiprocessing using concurrent in python
In this blog I will share how to do multiprocessing using concurrent in python
Process Large Corpora Using Python Generator
This blog describe how to process large corpora using python generator
colab
Colab Introduciton part-2
Colab basic use cases and helpers
Using kaggle data in colab
This blog describe how to use kaggle dataset in google colaboratory
A Gentle Introduction to Google Colaboratory
You are an enthusiastic learner on Machine Learning but you have no capability to purchase a big machine to train and test your model.
git
Installing git lfs in linux
In this blog I will share how to install git lfs in linux (ubuntu in my case)
Git reset
This blog keep note about git reset use cases.
Use local git as remote repository
This blog describes about using local git as remote repository.
embedding
Word Embedding
This blog describes about word embedding.
N-Gram
This blog describes about ngram.
kaggle
Share dataset using kaggle API
This blog describe how to share your dataset using kaggle API
Using kaggle data in colab
This blog describe how to use kaggle dataset in google colaboratory
tokenizer
How to load vocab.txt file using huggingface transformers AutoTokenizer
In this blog I will provide a simple tips to load vocab.txt file using hugginface AutoTokenizer
Bangla Sentenepiece Tokenizer
This blog describes about sentencepiece tokenizer.
ml
Most popular activation functions
This blog describes about most popular activation functions.
IRIS Data Classification
This blog describes about how to use scikit-learn to classify iris data.
transformers
How to load vocab.txt file using huggingface transformers AutoTokenizer
In this blog I will provide a simple tips to load vocab.txt file using hugginface AutoTokenizer
Bangla BERT Language Model
This blog describe about Bangla BERT lanaguage model.
datasets
Processing tips of huggingface datasets
In this blog I will note down some tips to process huggingface datasets
Share dataset using kaggle API
This blog describe how to share your dataset using kaggle API
web
Simple REST API using Flask
This blog describes about simple REST API using Flask.
Streamlit ব্যবহার করে তাৎক্ষনিক ডেমো ওয়েব অ্যাপ তৈরি
This blog describe how to prepare a simple demo app using streamlit
tools
Relation Extraction Training with Flair
This blog post explains how to train the relation extraction model with Flair.
bntranslit package for Bengali transliteration
This blog post explains how to use bntranslit package for Bengali transliteration.
pytorch
Model Saving and Loading in PyTorch
This blog describes about how to save and load model in Pytorch.
Simple Pytorch Steps
This blog describes about how to use Pytorch to build a simple model.
paper
review
relation-extraction
Intro to supervised relation extraction
This blog post explain how supervised relation extraction method works.
Relation Extraction Training with Flair
This blog post explains how to train the relation extraction model with Flair.
tool
Docker Basics
This blog keep note basic use cases of docker.
bnaug (Bangla Text Augmentation) tool
bnaug is a python tool to augment Bangla text.
tokenization
Tokenization
This blog describes about tokenization
cuda
Using Multiple Cuda in ubuntu 16.04
This blog describe how to use multiple cuda version in ubuntu 16.04
gpu
Using Multiple Cuda in ubuntu 16.04
This blog describe how to use multiple cuda version in ubuntu 16.04
language-model
Bangla BERT Language Model
This blog describe about Bangla BERT lanaguage model.
demo
Streamlit ব্যবহার করে তাৎক্ষনিক ডেমো ওয়েব অ্যাপ তৈরি
This blog describe how to prepare a simple demo app using streamlit
transliteration
bntranslit package for Bengali transliteration
This blog post explains how to use bntranslit package for Bengali transliteration.
drive
Download google drive file without login
This blog describe how to download google drive file without login
speech
Understanding CTC(Connectionist Temporal Classification)
This blog describes about the concept of CTC
sequence-labelling
Different F1 score for sequence tagging
This blog post explains different F1 score used in sequence tagging.
ubuntu
Gentle intro about Screen in ubuntu
This blog describe about the basic use cases of screen
linux
Gentle intro about Screen in ubuntu
This blog describe about the basic use cases of screen
text-augmentation
bnaug (Bangla Text Augmentation) tool
bnaug is a python tool to augment Bangla text.
devops
Docker Basics
This blog keep note basic use cases of docker.
docker
Docker Basics
This blog keep note basic use cases of docker.
github
Git reset
This blog keep note about git reset use cases.
huggingface
How to load vocab.txt file using huggingface transformers AutoTokenizer
In this blog I will provide a simple tips to load vocab.txt file using hugginface AutoTokenizer
git-lfs
Installing git lfs in linux
In this blog I will share how to install git lfs in linux (ubuntu in my case)
api
Minimal API using FastAPI
In this blog I will share how to build a minimal API using FastAPI to deploy your python app
deployment
Minimal API using FastAPI
In this blog I will share how to build a minimal API using FastAPI to deploy your python app
pandas
Process large CSV file using pandas
In this blog I will share how to process large CSV file using pandas